[일일리포트] Day 51 (Level2_PStage_7)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다.

▶ 오늘 한 일

모델 실험 진행 

실험1

 앞선 실험과 동일하게 [CLS]# ^ {타입} ^ {주어} # ]@ * {타입} * {목적어} @ 씨는 예원학교, ... [SEP]의 꼴의 문장을 Input으로 넣어줬다. 하지만 해당 논문An Improved Baseline for Sentence-level Relation Extraction을 구현한 코드를 참고해서 파라미터 세팅을 해줬다. warmup_ratio, adam_epsilion, learning_rate, max_seq_length, batch_size 등의 파라미터들을 수정해서 모델을 학습했다. 해당 모델을 학습하는 와중에 batch_size를 조절했기 때문에 기존과는 다르게 학습이 4000 step에서 멈췄다.

 성능이 상승해서 기존 base 성적으로 잡았던 70.1점을 넘어 71.5를 달성했지만, 성능의 향상 폭이 크지는 않았다. 하지만 하이퍼파라미터 세팅이 의미가 있다는 것을 알게 됐다.

 

실험2

 앞선 실험으로 Punctuation으로 type과 같이 태깅을해 Input으로 넣어주면 성능이 올라가는 것을 확인할 수 있었다. 그리고 논문에서 제시하는 하이퍼파라미터 setting값을 통해 학습하면 성능이 올라가는 것도 확인했다. 그래서 MultiSentence형태로 Input을 주고, 앞선 Sub와 Obj의 Sentence에도 태깅을 해줘 학습을 진행하면 BERT가 학습하는 형태와 동일하게 Input데이터를 받기 때문에, 좋은 결과가 나올 것 같다는 생각을 했다. 

 결과는 f1-score 73.7으로 우리 팀 최고 성능을 달성할 수 있었다. 해당 모델의 성능이 좋게 나오는 이유는 Typed_entity_punc를 sub/obj에 태깅한 문장과 sentence에 모두 같이 태깅했으며, 잘 선별된 하이퍼파라미터 튜닝값을 사용한 것도 큰 역할을 한 것 같다.

  추가적으로 loss와 f1-score가 괜찮게 나온 3000 step의 모델을 제출했는데, f1-score가 0.8정도 감소하고 auprc가 0.9정도 감소했다. 앞선 실험들과 이번 실험의 결과로 이제는 학습 시 F1-score의 성능이 좋은 모델이 좋은 score를 보여준다고 얘기할 수 있을 것 같다.

 

실험3

 지금까지 좋은 성적을 거둔 모델은 RoBERTA모델이었다. 따라서 다른 pre-trained된 모델을 사용하면 성능 향상을 이끌어낼 수 있을 것이라고 기대하고, ELECTRA모델을 활용하고자 했다. 하지만 ELECTRA모델의 경우 RE Task에서 활용한 예를 많이 찾아볼 수 없었다. 그래도 정보를 찾아서 모델을 학습시켰는데, 좋은 성능을 보여주지 못했다.

 아직 파라미터 세팅 등을 하지 않았기에 단언할 수는 없을 것 같지만, 조금 더 실험을 해보고 넘어가야겠다. 내 생각에는 BERT와는 다른 ELECTRA의 학습 방법을 보고 그와 비슷한 형태로 Input을 넣어주든가 해야할 것 같다. 

▶ 주말 할 일

• 모델 실험
• 자기소개서 작성
• 하이퍼파라미터 세팅 알아보기 
• 성능 향상시킬 수 있는 방법 찾아보기