국문과 유목민

작년부터 개인용 서버를 만들어서, 공부나 개인 프로젝트에 사용하고자 하는 마음이 있었습니다. 그러나 여러가지 일로 차일피일 미뤄오다...이제는 진짜 해봐야겠다고 생각해 조사를 해봤습니다. 만들고자 하는 프로젝트는 주로 LLM API를 사용하는 서비스일 것이기에,  Router의 역할을 하는 서버만 필요해 비교적 저렴하게 만들 수 있을 것이라고 생각했습니다. 그러나 실제 계산을 해보니 AWS나 GCP 모두 지속적으로 사용할 시 생각보다 비용이 꽤 비쌌습니다. 그래서 고민하던 중 라즈베리 파이로 개인 서버를 구축할 수 있다는 것에 대해 알게 되었고, 라즈베리 파이(이하 RSP)로 서버를 구축하기로 결정했습니다. 결과는 16만원에 4CPU(쿼드코어) 8GB RAM을 가지는 서버를 구축할 수 있게 됐고, 이러한..

이번 설 연휴동안 Deepseek-R1 모델이 매우 큰 신드롬을 일으키면서, 저 또한 해당 모델을 사용해보고자 하는 마음이 생겼습니다. 그래서 이번에 runpod에 Deepseek모델을 vLLM으로 올려보면서 겸사겸사 해당 방법을 정리해서 공유해보고자 합니다.(해당 글은 빠르게 나만의 모델을 올려보고자 하는 독자를 대상으로 작성했습니다. deepseek-R1 모델에 대한 설명이나 runpod, vLLM에 대한 설명을 다루고 있지 않습니다.)Runpod DeployRunPod는 인공지능(AI) 및 머신러닝 애플리케이션을 위한 클라우드 컴퓨팅 플랫폼으로, 개인이나 작은 프로젝트 팀에서 GPU를 사용할 수 있게 해주는 서비스입니다. Runpod를 사용하기 위해서는 우선 Runpod에 들어가서 Pod를 depl..

LangChain이나 LangGraph는 LLM 서비스 구축을 쉽게 도와주는 프레임워크이다보니 현업에서도 많이 사용하게 됩니다. 특히, 프롬프트만을 조정함으로써 성능이 좋은 LLM 모델들을 우리 도메인에 피팅시켜 사용할 수 있는 것은 큰 매력 포인트인 것 같다. 그러나 프롬프트를 만드는 작업은 계속해서 텍스트를 수정하고, 교체하며 테스트해야하는 과정이 필수적이다보니, 형상관리가 필요하다고 생각만 했었습니다. 그러던 중 파일로도 프롬프트를 관리할 수 있다는 것을 알게 됐는데, 튜토리얼에도 파일을 로드하는 방법만 나와있을 뿐 어떤 변수가 포함되어야 하는 지와 같은 정보가 없어서 이를 한 번 정리해보면 도움이 될 수 있을 것 같아 글을 작성하게 되었습니다. 랭체인 프롬프트 템플릿LangChain 프롬프트에 ..

OpenSearch가 뭔가요?Opensearch는 검색 솔루션이다OpenSearch를 Docs를 보면, 'Apache Lucene 검색 라이브러리로 구동되는 검색 및 분석 제품군으로, 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용'된다고 말한다. 쉽게 얘기하면 데이터베이스처럼 데이터를 저장하고, 쉽고 빠륵게 검색과 분석을 할 수 있게 도와주는 솔루션이라는 것이다.  Opensearch는 데이터 탐색 도구인 OpenSearch 대시보드와 함께 대량 데이터 볼륨에 빠르게 액세스하고 응답할 수 있으며, 뛰어난 확장성을 지닌 시스템을 제공한다. k-nearest neighbors(KNN)검색, SQL, Anomaly Detection, Machine Learning..

누군가의 노고로 쓰여진 책을 평가하기보다는 책을 읽고 느꼈던 '저의' 감상을 위주로 정리하고자 합니다.읽게 된 배경'개발자 오늘도 마음 튼튼하게 성장하기'는 이번 글또 10기에 참여하면서 '길벗' 책 증정 이벤트에 당첨되어 읽게 된 책이었다. 그 당시 '어떻게 하면 더 좋은 방향으로 성장을 할 수 있을지' 고민이 많던 시기에, 책 제목에 이끌려 신청했고 운이 좋게 당첨이 되어 접하게 되었다. 책을 읽기 전에는 '기술적인 부분'에 대한 얘기가 주로 될 것이라 생각했지만 그렇지 않았고, 목차만 봐서는 어쩌면 당연한 얘기들로 가득 차 있겠다는 생각도 들었다. 하지만 이러한 생각들은 책을 읽으며 잊혀졌고, 많이 공감했고, 생각했으며, 나아지고 싶다는 의지를 얻게 된 책이었다.핵심 내용이 책은 코드를 잘 작성하는..