국문과 유목민

작년부터 개인용 서버를 만들어서, 공부나 개인 프로젝트에 사용하고자 하는 마음이 있었습니다. 그러나 여러가지 일로 차일피일 미뤄오다...이제는 진짜 해봐야겠다고 생각해 조사를 해봤습니다. 만들고자 하는 프로젝트는 주로 LLM API를 사용하는 서비스일 것이기에,  Router의 역할을 하는 서버만 필요해 비교적 저렴하게 만들 수 있을 것이라고 생각했습니다. 그러나 실제 계산을 해보니 AWS나 GCP 모두 지속적으로 사용할 시 생각보다 비용이 꽤 비쌌습니다. 그래서 고민하던 중 라즈베리 파이로 개인 서버를 구축할 수 있다는 것에 대해 알게 되었고, 라즈베리 파이(이하 RSP)로 서버를 구축하기로 결정했습니다. 결과는 16만원에 4CPU(쿼드코어) 8GB RAM을 가지는 서버를 구축할 수 있게 됐고, 이러한..

이번 설 연휴동안 Deepseek-R1 모델이 매우 큰 신드롬을 일으키면서, 저 또한 해당 모델을 사용해보고자 하는 마음이 생겼습니다. 그래서 이번에 runpod에 Deepseek모델을 vLLM으로 올려보면서 겸사겸사 해당 방법을 정리해서 공유해보고자 합니다.(해당 글은 빠르게 나만의 모델을 올려보고자 하는 독자를 대상으로 작성했습니다. deepseek-R1 모델에 대한 설명이나 runpod, vLLM에 대한 설명을 다루고 있지 않습니다.)Runpod DeployRunPod는 인공지능(AI) 및 머신러닝 애플리케이션을 위한 클라우드 컴퓨팅 플랫폼으로, 개인이나 작은 프로젝트 팀에서 GPU를 사용할 수 있게 해주는 서비스입니다. Runpod를 사용하기 위해서는 우선 Runpod에 들어가서 Pod를 depl..

LangChain이나 LangGraph는 LLM 서비스 구축을 쉽게 도와주는 프레임워크이다보니 현업에서도 많이 사용하게 됩니다. 특히, 프롬프트만을 조정함으로써 성능이 좋은 LLM 모델들을 우리 도메인에 피팅시켜 사용할 수 있는 것은 큰 매력 포인트인 것 같다. 그러나 프롬프트를 만드는 작업은 계속해서 텍스트를 수정하고, 교체하며 테스트해야하는 과정이 필수적이다보니, 형상관리가 필요하다고 생각만 했었습니다. 그러던 중 파일로도 프롬프트를 관리할 수 있다는 것을 알게 됐는데, 튜토리얼에도 파일을 로드하는 방법만 나와있을 뿐 어떤 변수가 포함되어야 하는 지와 같은 정보가 없어서 이를 한 번 정리해보면 도움이 될 수 있을 것 같아 글을 작성하게 되었습니다. 랭체인 프롬프트 템플릿LangChain 프롬프트에 ..

OpenSearch가 뭔가요?Opensearch는 검색 솔루션이다OpenSearch를 Docs를 보면, 'Apache Lucene 검색 라이브러리로 구동되는 검색 및 분석 제품군으로, 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용'된다고 말한다. 쉽게 얘기하면 데이터베이스처럼 데이터를 저장하고, 쉽고 빠륵게 검색과 분석을 할 수 있게 도와주는 솔루션이라는 것이다.  Opensearch는 데이터 탐색 도구인 OpenSearch 대시보드와 함께 대량 데이터 볼륨에 빠르게 액세스하고 응답할 수 있으며, 뛰어난 확장성을 지닌 시스템을 제공한다. k-nearest neighbors(KNN)검색, SQL, Anomaly Detection, Machine Learning..

개요집에서 AI 모델을 돌려보려고 하는 개발자들은 이런 고민은 한 번쯤 있었을 것 같다. 집에 있는 로컬 PC의 경우 GPU 사양이 충분히 높지 않아서 원하는 모델보다 작은 모델을 테스트 해야 하는지, 다른 방법을 찾아봐야 하는지 말이다. 코랩을 통해서 활용하려고 했지만, 비용적인 이슈도 있고 월 9.9$의 colab pro 요금제로는 원하는 모델을 원하는 만큼 돌릴 수도 없다는 것도 좀 단점이었다. 그렇다고 AWS와 같은 클라우드 서비스를 활용하자고 하니, EC2 자원을 띄우기 위한 초기 설정부터 비용까지 코랩보다 더 신경쓸 게 많아진다. 그런 상황에서, GPU 서버가 필요한 개발자들에게 RunPod는 좋은 선택지가 될 수 있다.  RunPod?그렇다면 RunPod가 뭘까? RunPod는 인공지능(AI..

처음 AI를 공부할 때, 데이터를 다루는 방법이나 AI 기술에 대한 이해만 있으면 될 줄 알았다. 그러나 실제 현업에서 일을 해보니 알아야 되는 기술은 많았고, 길바닥 출신이었던 나는 막연한 두려움을 가졌던 것 같다. 그러나 막상 기술들을 실제 사용해보면 두려움과 어려움은 잠시뿐이고, 오히려 편리함을 주는 기술들이 많았다. 그래서 이러한 기술들에 대해 막연한 두려움을 해결할 수 있게 도움을 줄 수 있는 글이 있으면 좋지 않을까 생각했고 이번 글또를 통해 정리해보고자 한다. 그래서 전문적인 부분보다는 해당 기술들이 왜 필요한 지를 위주로 설명을 해보고자 한다.FastAPI가 뭔가요?우선 처음 FastAPI를 접한다고 생각하고 FastAPI 를 구글에 검색해보면, 가장 처음 등장하는 '위키백과'에서는 다음과..