[일일리포트] Day 49 (Level2_PStage_5)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다.

▶ 오늘 한 일

모델 태깅 테스트

 오늘은 모델에 입력을 데이터를 넣어주기 전에 어떤 형태로 데이터를 넣어줄 지에 대해서 실험을 해봤다. 저번 주말에 실험했었지만 잘못 사용해서 성능이 좋지 않았었기 때문에 이번에 다시하고자 했다. 결론부터 얘기하자면 성능향상이 있었다.

 현재 베이스로 삼은 기본적인 모델의 점수는 micro_f1: 66.8291 / auprc: 66.4059 이다. 오늘 팀원들에게 양해를 구하고 총 3번의 실험을 진행했다. 

 우선 어제 밤 저녁부터 오늘 아침까지 했던 첫 번째 실험의 경우, filter의 적용 유무였다. sentence 문장 내에 불필요한 기호가 적용되어 있다면 학습에 어려움이 있을 것 같다는 가정을 해서 실험을 진행했다. 해당 실험 결과  f1: 64.8813 / auprc: 64.9547 이 나왔다. 해당 모델의 경우 8000Step을 학습한 모델이었기에, 4500 Step을 학습한 모델도 사용을 해봤다. 그 결과 f1: 62.6055/ auprc: 65.9538 로 auprc의 성능은 올랐지만 f1 score가 많이 하락했다. 해당 실험을 통해 f1과 auprc점수의 차이가 많이 줄어들일 수 있었다. 하지만, 이번 Competition에서 기준 점수는 f1이기 때문에 적용에는 무리가 있어보인다. 그리고 Step이 많이 돌수록 loss가 상승하는 대신 f1score가 증가하게 되는데, 해당 모델들의 성능이 더 좋다는 것을 알게 됐다. 따라서 이번 Competition에서 best_model의 기준을 f1-score로 잡는 게 좋을 것 같다.

 두 번째 실험으로는 Entity 태깅 테스트를 진행했다. 입력으로 넣는 데이터를 가공시켜서 넣어주면 더 좋은 성능을 보일 것이라고 생각했다. 그래서 기존 '[CLS] Sub [SEP] obj [SEP] Sentence [SEP]' 꼴로 되어있던 입력을  '[CLS] Sub [SEP] obj 어떤 관계일까? [SEP] Sentence [SEP]'로 바꿔줬다. 이렇게 한 이유는 기존 BERT모델에서는 두 개의 문장을 입력으로 받기 때문에, 이를 문장 형식으로 넣어주면 성능이 올라가지 않을까 하는 생각이었다. 결과적으로는 제출 스코어 micro_f1 score: 67.3501 | auprc: 68.9133 으로 베이스 점수보다 더 높은 성능 향상이 있었다.

 세 번째 실험으로는 [[CLS] [sub] 김기민 [/sub] [obj] 발레리노 [/obj] 어떤 관계일까? [SEP] [obj] 발레리노 [/obj] [sub] 김기민 [/sub] 씨는 예원학교, ... [SEP] 처럼 입력으로 들어가는 Sub, Obj Entity뿐만 아니라 Sentence에도 태깅을 해서 입력으로 넣어줬다. 해당 모델도 이전 모델과 비교했을 때 성능 향상이 있었다. micro_f1 score: 67.5301 | auprc: 72.1450 하지만 아쉽게도 auprc의 성능이 더 높게 나왔다. 하지만 이런 식으로 입력의 형태를 변화시켜주는 실험이 의미가 있다는 것을 알 수 있었다. 

▶ 내일 할 일

• Input Sentence Entity 태깅 실험 마무리
• 강의 2강 듣기
• Data Augmentation
• 자소서 쓰기