국문과 유목민

이번 설 연휴동안 Deepseek-R1 모델이 매우 큰 신드롬을 일으키면서, 저 또한 해당 모델을 사용해보고자 하는 마음이 생겼습니다. 그래서 이번에 runpod에 Deepseek모델을 vLLM으로 올려보면서 겸사겸사 해당 방법을 정리해서 공유해보고자 합니다.(해당 글은 빠르게 나만의 모델을 올려보고자 하는 독자를 대상으로 작성했습니다. deepseek-R1 모델에 대한 설명이나 runpod, vLLM에 대한 설명을 다루고 있지 않습니다.)Runpod DeployRunPod는 인공지능(AI) 및 머신러닝 애플리케이션을 위한 클라우드 컴퓨팅 플랫폼으로, 개인이나 작은 프로젝트 팀에서 GPU를 사용할 수 있게 해주는 서비스입니다. Runpod를 사용하기 위해서는 우선 Runpod에 들어가서 Pod를 depl..

LangChain이나 LangGraph는 LLM 서비스 구축을 쉽게 도와주는 프레임워크이다보니 현업에서도 많이 사용하게 됩니다. 특히, 프롬프트만을 조정함으로써 성능이 좋은 LLM 모델들을 우리 도메인에 피팅시켜 사용할 수 있는 것은 큰 매력 포인트인 것 같다. 그러나 프롬프트를 만드는 작업은 계속해서 텍스트를 수정하고, 교체하며 테스트해야하는 과정이 필수적이다보니, 형상관리가 필요하다고 생각만 했었습니다. 그러던 중 파일로도 프롬프트를 관리할 수 있다는 것을 알게 됐는데, 튜토리얼에도 파일을 로드하는 방법만 나와있을 뿐 어떤 변수가 포함되어야 하는 지와 같은 정보가 없어서 이를 한 번 정리해보면 도움이 될 수 있을 것 같아 글을 작성하게 되었습니다. 랭체인 프롬프트 템플릿LangChain 프롬프트에 ..

OpenSearch가 뭔가요?Opensearch는 검색 솔루션이다OpenSearch를 Docs를 보면, 'Apache Lucene 검색 라이브러리로 구동되는 검색 및 분석 제품군으로, 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용'된다고 말한다. 쉽게 얘기하면 데이터베이스처럼 데이터를 저장하고, 쉽고 빠륵게 검색과 분석을 할 수 있게 도와주는 솔루션이라는 것이다.  Opensearch는 데이터 탐색 도구인 OpenSearch 대시보드와 함께 대량 데이터 볼륨에 빠르게 액세스하고 응답할 수 있으며, 뛰어난 확장성을 지닌 시스템을 제공한다. k-nearest neighbors(KNN)검색, SQL, Anomaly Detection, Machine Learning..

누군가의 노고로 쓰여진 책을 평가하기보다는 책을 읽고 느꼈던 '저의' 감상을 위주로 정리하고자 합니다.읽게 된 배경'개발자 오늘도 마음 튼튼하게 성장하기'는 이번 글또 10기에 참여하면서 '길벗' 책 증정 이벤트에 당첨되어 읽게 된 책이었다. 그 당시 '어떻게 하면 더 좋은 방향으로 성장을 할 수 있을지' 고민이 많던 시기에, 책 제목에 이끌려 신청했고 운이 좋게 당첨이 되어 접하게 되었다. 책을 읽기 전에는 '기술적인 부분'에 대한 얘기가 주로 될 것이라 생각했지만 그렇지 않았고, 목차만 봐서는 어쩌면 당연한 얘기들로 가득 차 있겠다는 생각도 들었다. 하지만 이러한 생각들은 책을 읽으며 잊혀졌고, 많이 공감했고, 생각했으며, 나아지고 싶다는 의지를 얻게 된 책이었다.핵심 내용이 책은 코드를 잘 작성하는..

개요집에서 AI 모델을 돌려보려고 하는 개발자들은 이런 고민은 한 번쯤 있었을 것 같다. 집에 있는 로컬 PC의 경우 GPU 사양이 충분히 높지 않아서 원하는 모델보다 작은 모델을 테스트 해야 하는지, 다른 방법을 찾아봐야 하는지 말이다. 코랩을 통해서 활용하려고 했지만, 비용적인 이슈도 있고 월 9.9$의 colab pro 요금제로는 원하는 모델을 원하는 만큼 돌릴 수도 없다는 것도 좀 단점이었다. 그렇다고 AWS와 같은 클라우드 서비스를 활용하자고 하니, EC2 자원을 띄우기 위한 초기 설정부터 비용까지 코랩보다 더 신경쓸 게 많아진다. 그런 상황에서, GPU 서버가 필요한 개발자들에게 RunPod는 좋은 선택지가 될 수 있다.  RunPod?그렇다면 RunPod가 뭘까? RunPod는 인공지능(AI..