국문과 유목민

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 프로젝트 마무리 이번 대회는 1등이라는 좋은 성적을 받게되어 발표를 하게 됐다. 마침 최종 프로젝트 주제 선정과 관련해서 오프라인으로 모이기로 했었기 때문에 팀원분의 집에서 모여 PPT를 만들었다. PPT를 만들면서 간단하게 개요를 잡을 수 있었고, Wrapup리포트에 적을만한 내용들에 대해서 정리할 수 있었다. 발표는 잘 마무리 했고, 협업 과정에서 좋은 피드백을 받을 수 있었다. 오프라인 모임을 하고자 했던 이유였던..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 2차 Finetuning Test 어제 진행한 실험에 더해서 추가적인 실험을 진행했다. 크게 두 가지를 진행했는데 하나는 1차 Finetuning을 진행할 때 Epoch을 3으로 늘려서 진행을 한 것이고, 다른 하나는 이전 1차 Finetuning(epoch_1) 모델에 대해서 2차 Finetuning 시 learning_rate를 낮추는 실험이었다. 우선 첫 번째 Epoch을 3으로 늘린 1차 Finetuning의 결..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Sweep 구현 하이퍼파라미터 튜닝을 위해 Sweep 구현을 진행했다. 이전 프로젝트에서 한 번 구현을 했었기 때문에 비교적 수월하게 구현을 할 수 있었다. 또한, 이전에 정리했던 포스팅([WandB] Huggingface 라이브러리에서 Sweep 사용하기)에서 추가적으로 알게 된 부분에 대해서 별도로 정리했다. 이번에 하이퍼파라미터 튜닝을 구현하면서 다음 Task에 대해 생각했는데 아직 어떤 파라미터를 튜닝해야하는지에..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Validataion Tracking Setting 베이스라인 코드에서는 Validation 데이터가 나눠져는 있지만, Train과 동일하게 진행되지 않아서 Validation 확인이 안된다. 따라서 Validation의 loss 등을 확인하기 위해 Train과 Validation이 동시에 진행되도록 해야 했다. 따라서 Train과 Validation이 동시에 진행될 수 있도록 세팅하고자 한다. 그리고 협업 툴(Wand..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Passage Retrieval and Similarity Search DenseEmbedding을 활용한 Retrieval을 보면, Passage와 Query를 각각 임베딩한 후 Query로부터 거리가 가까운 순서대로 Passage에 순위를 매김으로써 검색을 진행했다. 이때, 유사도를 계산할 때, neighbors nearest search보다 Inner Product가 더 많이 사용된다. 즉, 가장 거리가 가까운 벡..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Passage Retrieval 질문(query)에 맞는 문서(Passage)를 찾는 것을 Passage Retrieval 이라고 한다. MRC Task에서 Passage Retrieval에는 ODQA(Open-Domain Question Answering)가 있다. ODQA는 대규모의 문서 중에서 질문에 대한 답을 찾는 것으로, Passage Retrieval와 MRC를 이어 2-Stage로 만든다. Passage R..