[일일리포트] Day 79 (Lelvel2_MRC_9)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다.

▶ Today I Learned (핵심 요약 정리)

Parameter Tuning & Ensemble

오늘은 어제까지 구현한 커리큘럼러닝 모델을 통해 하이퍼파라미터 튜닝을 진행했다. 튜닝은 Learning_rate와 batch_size를 변경하며 진행했고, lr을 작게 줄 수록 batch도 작게 줘야 학습이 맞을 것 같아서 두 파라미터를 수정하고자 했다. 실험 결과 처음 커리큘럼 러닝을 수행했을 때 세팅했던 값이 가장 좋았었지만 그래도 eval값이 초기 지표와 유사한 성능을 보여주는 실험에 대해서 inference를 진행했다.
두 번 정도 제출을 해보고자 했지만, 제출 기회가 한정적이라 한 번만 제출했다. 대신 이렇게 만든 모델은 Ensemble을 할 때 사용하기로 했다. Ensemble은 다른 팀원분께서 코드를 만드셔서 작업을 해주셨는데, 어제까지 학습 시 val_Score가 70점이었는데 리더보드 상 60점 이상을 기록했었던 모델들을 잘 Ensemble해서 75점을 찍으면서, 어제보다 또 5점 이상 올리는 성과를 얻을 수 있었다. Ensemble의 경우 그 이유 등을 찾기 어려운데, 팀원들과 회의를 하면서 나름의 가설을 세우고 실험을 통해 Esemble 결과를 좋게 이끌어낼 수 있었던 것 같다. 그리고 우리 팀은 이전 대회와 이번 대회의 Ensemble 결과를 통해서 여러가지 모델(parameter 세팅값이 변경됬다거나 하는게 아닌 다른 방법론을 적용한 모델)을 사용해서 Ensemble을 진행하는게 좋은 방법인 것 같다는 결론을 내리게 됐다.

프로젝트 마무리 (Wrapup report 개요 작성)

어제까지도 리더보드 상에서 차이가 좀 벌어진 1등이었고, 수행하고자 했던 Task등도 거의 다 했었기 때문에 파라미터 튜닝만 하면 할 게 없었다. 그래서 금요일에 1등을 하게되면 발표도 해야 하고, Wrapup리포트도 작성해야 했기 때문에 미리 조금이라도 준비를 해놓으면 좋을 것 같다는 생각이 들었다. 그래서 미리 노션에다 적당히 개요로 흐름만 잡고, 타임라인을 간단하게 작업했다. 확실히 이번에는 마일스톤도 적용을 하고, 칸반보드를 통해 실험 내용들을 정리하다보니까 확실히 Wrap-up리포트의 방향을 잡거나 하는데 수월했던 것 같다.

▶ Review (생각)

오늘로 3번째 대회가 끝이 났다. 1등으로 굉장히 좋은 성과를 얻어서 기분이 좋다. 저번 대회까지는 Task를 겹쳐서 하는 느낌이 있었기 때문에 이번에는 일을 분업해서 하는 느낌으로 해보고자 했다. 칸반보드를 활용해서 미리 프로젝트 계획을 하고, 해야하는 Task는 미리미리 적어둠으로써 유기적으로 일을 진행할 수 있었다. 그래서인지 이번 프로젝트에서는 시간이 부족해서 구현하지 못했다거나 시도하지 못한 것은 없었던 것 같다.
그리고 이번에는 자신이 무엇을 했는지에 대해서 모든 팀원들 각자 뚜렷하게 말할 수 있을 것 같다. 이번 프로젝트 1등 점수는 다른 팀들보다 public에서는 5점 이상 앞서고, private에서는 3점 이상 앞선 점수였다. 이전 기수에서는 많은 팀들이 75점 정도에서 근사하게 비교가 됐었는데, 이번에는 우리팀만 75점을 달성할 수 있었다. 우리 팀의 경우 분업을 통해서 각자 맡은 바 최선을 다해줬기 때문에 좋은 성과를 얻을 수 있었던 것 같다.
나도 이번에 어쩌다보니 reader쪽을 맡아서 하게 됐는데, retriever쪽 모델에 대해서 잘 모르는 것 같아서 좀 아쉽다. 하지만 raeder 쪽에서 다양한 모델 실험들을 통해서 성능을 향상시켰다는 점에서 의미가 있다고 생각한다. 그리고 이전 프로젝트에서 생각했던 피드백을 고려해, 욕심을 좀 내려놓고 팀원들과 같이 성장할 수 있는 부분을 생각했던 프로젝트였다. 프로젝트에 관한 좀 더 구체적인 정리는 내일 주간 개인 회고 때 좀 더 세부적으로 적도록 하겠다.