들어가며이전 포스팅에 이어, 실제 MLflow 환경을 Docker로 구성해서 모델 실행 결과를 추적하고, 모델 레지스트리와 프롬프트 레지스트리를 관리하고, 이를 평가하는 기능을 구현해보도록 하겠습니다. 1. 로컬 MLFlow 서버 올리기 (docker)MLflow를 Docker를 사용해서 로컬 서버(내 컴퓨터) 환경에 올려보도록 하겠습니다. (Docker 환경이 구성이 되어있다고 가정하고 진행하도록 하곘습니다. Docker를 잘 모르시는 분들은 다음 포스팅을 참고해주세요) 다음 docker pull 명령어를 통해 이미지를 받습니다 (3.x.x 버전 이상을 받아주세요)docker pull ghcr.io/mlflow/mlflow:v3.3.0컨테이너 서버를 올립니다Window 유저가 아니시라면 "MSYS_NO..

들어가며회사에서 LLM 관련 서비스를 구축하며, 프롬프트와 모델 관리, 로그 관리 등이 필요해졌습니다. 그러던 중 MLFlow가 3버전대로 올라오면서 서비스 LLMOps를 지원한다는 것을 알게 되었고, 회사에서는 Databricks를 사용하고 있기에 Managed MLFlow 환경이 구축되어 있어서 MLFlow로 LLMOps 환경으로 채택했습니다. 실제 사용해봤을 때, 충분히 활용할 수 있을 정도로 기능이 많이 업데이트되었기에 해당 내용을 정리하고, 공유하면 좋을 것 같아서 포스팅을 진행하게 되었습니다.MLFlow란? 우선, MLFlow를 처음 접하시는 분들을 위해 간단하게 알아보고 가겠습니다. MLFlow는 머신러닝(ML) 모델 개발의 전체 수명주기를 관리하고 간소화하기 위한 오픈소스 플랫폼입니다. 좀..