국문과 유목민

이번 설 연휴동안 Deepseek-R1 모델이 매우 큰 신드롬을 일으키면서, 저 또한 해당 모델을 사용해보고자 하는 마음이 생겼습니다. 그래서 이번에 runpod에 Deepseek모델을 vLLM으로 올려보면서 겸사겸사 해당 방법을 정리해서 공유해보고자 합니다.(해당 글은 빠르게 나만의 모델을 올려보고자 하는 독자를 대상으로 작성했습니다. deepseek-R1 모델에 대한 설명이나 runpod, vLLM에 대한 설명을 다루고 있지 않습니다.)Runpod DeployRunPod는 인공지능(AI) 및 머신러닝 애플리케이션을 위한 클라우드 컴퓨팅 플랫폼으로, 개인이나 작은 프로젝트 팀에서 GPU를 사용할 수 있게 해주는 서비스입니다. Runpod를 사용하기 위해서는 우선 Runpod에 들어가서 Pod를 depl..

OpenSearch가 뭔가요?Opensearch는 검색 솔루션이다OpenSearch를 Docs를 보면, 'Apache Lucene 검색 라이브러리로 구동되는 검색 및 분석 제품군으로, 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용'된다고 말한다. 쉽게 얘기하면 데이터베이스처럼 데이터를 저장하고, 쉽고 빠륵게 검색과 분석을 할 수 있게 도와주는 솔루션이라는 것이다.  Opensearch는 데이터 탐색 도구인 OpenSearch 대시보드와 함께 대량 데이터 볼륨에 빠르게 액세스하고 응답할 수 있으며, 뛰어난 확장성을 지닌 시스템을 제공한다. k-nearest neighbors(KNN)검색, SQL, Anomaly Detection, Machine Learning..

개요집에서 AI 모델을 돌려보려고 하는 개발자들은 이런 고민은 한 번쯤 있었을 것 같다. 집에 있는 로컬 PC의 경우 GPU 사양이 충분히 높지 않아서 원하는 모델보다 작은 모델을 테스트 해야 하는지, 다른 방법을 찾아봐야 하는지 말이다. 코랩을 통해서 활용하려고 했지만, 비용적인 이슈도 있고 월 9.9$의 colab pro 요금제로는 원하는 모델을 원하는 만큼 돌릴 수도 없다는 것도 좀 단점이었다. 그렇다고 AWS와 같은 클라우드 서비스를 활용하자고 하니, EC2 자원을 띄우기 위한 초기 설정부터 비용까지 코랩보다 더 신경쓸 게 많아진다. 그런 상황에서, GPU 서버가 필요한 개발자들에게 RunPod는 좋은 선택지가 될 수 있다.  RunPod?그렇다면 RunPod가 뭘까? RunPod는 인공지능(AI..

처음 AI를 공부할 때, 데이터를 다루는 방법이나 AI 기술에 대한 이해만 있으면 될 줄 알았다. 그러나 실제 현업에서 일을 해보니 알아야 되는 기술은 많았고, 길바닥 출신이었던 나는 막연한 두려움을 가졌던 것 같다. 그러나 막상 기술들을 실제 사용해보면 두려움과 어려움은 잠시뿐이고, 오히려 편리함을 주는 기술들이 많았다. 그래서 이러한 기술들에 대해 막연한 두려움을 해결할 수 있게 도움을 줄 수 있는 글이 있으면 좋지 않을까 생각했고 이번 글또를 통해 정리해보고자 한다. 그래서 전문적인 부분보다는 해당 기술들이 왜 필요한 지를 위주로 설명을 해보고자 한다.FastAPI가 뭔가요?우선 처음 FastAPI를 접한다고 생각하고 FastAPI 를 구글에 검색해보면, 가장 처음 등장하는 '위키백과'에서는 다음과..

처음 AI를 공부할 때, 데이터를 다루는 방법이나 AI 기술에 대한 이해만 있으면 될 줄 알았다. 그러나 실제 현업에서 일을 해보니 알아야 되는 기술은 많았고, 길바닥 출신이었던 나는 막연한 두려움을 가졌던 것 같다. 그러나 막상 기술들을 실제 사용해보면 두려움과 어려움은 잠시뿐이고, 오히려 편리함을 주는 기술들이 많았다. 그래서 이러한 기술들에 대해 막연한 두려움을 해결할 수 있게 도움을 줄 수 있는 글이 있으면 좋지 않을까 생각했고 이번 글또를 통해 정리해보고자 한다. 그래서 전문적인 부분보다는 해당 기술들이 왜 필요한 지를 위주로 설명을 해보고자 한다.Docker가 뭔가요? (What)우선 처음 Docker를 접한다고 생각하고 Docker를 구글에 검색해봅니다. 그러면, 가장 처음 등장하는 '위키백..