[일일리포트] Day 70 (Level2_MRC_1)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다.

▶ Today I Learned (핵심 요약 정리)

Validataion Tracking Setting

베이스라인 코드에서는 Validation 데이터가 나눠져는 있지만, Train과 동일하게 진행되지 않아서 Validation 확인이 안된다. 따라서 Validation의 loss 등을 확인하기 위해 Train과 Validation이 동시에 진행되도록 해야 했다. 따라서 Train과 Validation이 동시에 진행될 수 있도록 세팅하고자 한다. 그리고 협업 툴(WandB)을 활용함에 있어서 Tracking이 될 수 있게 만들고자 했다.
해결은 Huggingface Document를 찾다가 이번 베이스라인 코드와 Hugging Face에서 제공하는 QA Example코드가 유사함을 확인했다. 그리고 Commit log에서 eval_prefix 변경을 확인했고, 해당 코드를 수정했다. 그렇게 함으로써 eval metric tracking이 가능하게 되었다. 수정된 코드는 Feat/validation_track를 통해 확인이 가능하다.
추가적으로 해당 코드만으로는 eval_loss는 tracking이 되지 않은 문제가 있었다. 이 부분은 다른 팀원분께서 이를 보완해주셔서 이제 Eval data에 대한 Tracking이 가능하게 됐다.

추가적으로 하이퍼파라미터 튜닝을 하기 위해서는 한 가지 해결해야 하는 부분이 있긴 하다. 현재 Trainingargument 파라미터 값을 변경하기 위해 parser를 활용하고 있는데, Sweep을 사용하기 위해서는 코드 상에서 변수를 직접 수정할 수 있게 해야한다. 하지만 이렇게 했을 때, Evaluation이 Training이 다 끝나고 진행이 되는 문제가 생겼다. 일단 당장 급한 부분이 아니었기 떄문에 넘어갔는데, 이제 Validation Tracking이 되니 해결해야 할 필요가 있어 보인다.

▶ Review (생각)

오늘 수행한 Task는 사실 이번 주 월요일 코드를 봤을 떄부터 막혔었던 부분이라서 오래 걸릴 줄 알았다. 그런데 운이 좋게 공식 Document에서 제공하는 Example을 발견해서 쉽게 문제를 해결할 수 있었던 것 같다. 그리고 한편으로 예전에는 Git commit이나 이런 부분을 잘 몰라서 많이 헤맸었을 것 같은데, 이번에는 쉽게 해결한 것 같아서 뭔가 성장한 것 같다는 생각이 들기도 했다.
추가적으로 evaluation 그래프를 보고 step별로 loss와 EM 간 관계를 확인해서 Inference를 실험해볼 계획을 가지고 있다. 보통 낮은 eval_loss가 낮을수록 좋은 성능을 보이는 경우가 많기에, loss를 성능지표의 기준으로 삼을 수 있다. 하지만, 저번 프로젝트 때는 실제 micro-f1 score가 더 좋은 지표를 보여주기도 했기에 확인할 필요가 있다는 생각이 들었다. 이번 주는 제출기회가 좀 남으니까 미리 실험을 해볼 계획이다. 오늘 저녁에 실험을 하고 내일 정리하도록 하겠다.