[일일리포트] Day 48 (Level2_PStage_4)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다.

▶ 오늘 한 일

강의 1강 & 오피스 아워

 이번 주 강의는 총 3강으로 GPT에 관한 강의이기 때문에 내일 다 듣고 한 번에 정리하도록 해야겠다. 또한 오피스아워 때 챗봇 기술 동향에 대해서 강의를 해주셨는데, 해당 내용에 대해서 별도의 포스팅으로 정리할 계획이다.

 

리팩토링 작업 

 코드의 간결성과 사용성을 위해 리팩토링 작업을 진행했다. 프로젝트를 진행하면서 새로운 코드가 추가되고고 다양한 실험을 진행하는 도중 실수가 발생했다. 코드 컨벤션이 설정되어 있지 않았고, 또한 trian과 inference 코드를 동시에 수정해야 하는 경우가 있었다. 하지만 이를 까먹고 실험을 진행하는 경우가 생겼고, 이러한 문제를 해결하기 위해 코드 리팩토링 작업을 진행했다.

참고링크) https://github.com/boostcampaitech3/level2-klue-level2-nlp-09/issues/42

 

모델 실험

  다른 팀원분께서 좋은 성적을 거두셨던 모델의 성능을 재현하고, refactoring한 코드가 제대로 동작하는지 확인하기 위해 테스트를 진행했다. 테스트를 진행한 결과 꽤나 준수한 그래프와 성능을 보여줬다. 그래서 이전에 얘기했던, f1-score가 높은 해당 모델이 더 좋은 성능을 보일 수도 있다는 가설을 검증하기 위해 추가적으로 제출을 해봤다. 실제 결과로transformer에서 추천해주는 loss기준 모델보다, f1-score 기준 모델의 성능이 더 좋다는 결론을 얻을 수 있다.

▶ 내일 할 일

• 강의 2강 듣기 (GPT-정리)
• 오피스 아워 (챗봇 포스팅 정리)
• 모델 실험 (sub, obj tagging 작업)