국문과 유목민

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Sweep 구현 하이퍼파라미터 튜닝을 위해 Sweep 구현을 진행했다. 이전 프로젝트에서 한 번 구현을 했었기 때문에 비교적 수월하게 구현을 할 수 있었다. 또한, 이전에 정리했던 포스팅([WandB] Huggingface 라이브러리에서 Sweep 사용하기)에서 추가적으로 알게 된 부분에 대해서 별도로 정리했다. 이번에 하이퍼파라미터 튜닝을 구현하면서 다음 Task에 대해 생각했는데 아직 어떤 파라미터를 튜닝해야하는지에..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Validataion Tracking Setting 베이스라인 코드에서는 Validation 데이터가 나눠져는 있지만, Train과 동일하게 진행되지 않아서 Validation 확인이 안된다. 따라서 Validation의 loss 등을 확인하기 위해 Train과 Validation이 동시에 진행되도록 해야 했다. 따라서 Train과 Validation이 동시에 진행될 수 있도록 세팅하고자 한다. 그리고 협업 툴(Wand..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Passage Retrieval and Similarity Search DenseEmbedding을 활용한 Retrieval을 보면, Passage와 Query를 각각 임베딩한 후 Query로부터 거리가 가까운 순서대로 Passage에 순위를 매김으로써 검색을 진행했다. 이때, 유사도를 계산할 때, neighbors nearest search보다 Inner Product가 더 많이 사용된다. 즉, 가장 거리가 가까운 벡..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Passage Retrieval 질문(query)에 맞는 문서(Passage)를 찾는 것을 Passage Retrieval 이라고 한다. MRC Task에서 Passage Retrieval에는 ODQA(Open-Domain Question Answering)가 있다. ODQA는 대규모의 문서 중에서 질문에 대한 답을 찾는 것으로, Passage Retrieval와 MRC를 이어 2-Stage로 만든다. Passage R..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) MRC Machine Reading Comprehension (기계독해)은 주어진 지문(Context)를 이해하고, 주어진 질의의 답변(Query/Question)을 추론하는 Task이다. SearchEngine에서 주로 사용되는 Task로 지문을 던지면, 지문을 해결하기 위한 답을 찾아오게 된다. MRC 데이터셋 종류로는 Extractive Answer Datasets와 Descriptive/NarrativeAnswe..