[일일리포트] Day 46 (Level2_PStage_2)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다.

▶ 오늘 한 일

Develop Merge 진행

 팀원들과 같이 데이터 전처리 파트에 대해서 각자 수행한 코드를 Merge하기 위해 zoom을 키고 실시간으로 진행했다. git에 익숙하지 않은 팀원분들이 계셔서 같이 실시간으로 진행해봤는데 꽤 좋았었다. 그래서 앞으로 오프닝 세션이나 피어세션 시간에 그 날 PR로 올라온 사항들에 대해서 같이 보고 Merge를 진행하기로 했다.

 각자 실험한 내용들과 코드를 정리하느라 시간이 꽤 오래 걸려서 오전 세션에서 거의 2시간이라는 시간을 사용했다. 근데 다들 귀찮아하지 않고 열정적으로 하는 모습을 보고 더 자극을 받았다.

Input Setting (Multi)

 오피스아워 시간에 조교님께서 소개해주신 방법 중 하나인 Input을 변형시키는 방법에 관심이 생겼다. BERT가 Pretrain한 방식과 유사하게 Input을 넣어주면 성능향상을 기대할 수 있을 것 같았다. 코드 구현은 어렵지가 않아서 빠르게 테스트를 진행할 수 있었다. 

 하지만 세 번의 실험을 진행하면서도 성능이 너무 안 좋게 나왔다. 우리가 기본적으로 생각했던 baseline코드의 점수보다 월등히 낮은 점수가 나왔다. 따라서 Sentence와 pair가 되는 문장의 순서를 바꿔보기도 했는데 아직까지 점수가 좋지 않아 어디서 문제가 발생했는지 찾는 중이다. 내 생각에는 Entitiy 사이에 [SEP]태그를 붙이지 않아서 생긴 문제였을 것이라는 가설을 세우고 다시 테스트를 진행 중에 있다.

▶ 내일 할 일

• 다른 모델 사용해서 학습해보기
• 어디서 문제가 발생했는지 확인해보기
• Sample Submission 제출 상태 확인해보기 
• 자기소개서 작성하기