[일일리포트] Day 44 (두 문장 관계 분류)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다.

▶ Today I Learned (핵심 요약 정리)

BERT 두 문장 관계 분류

 주어진 2개의 문장에 대해, 두 문장의 자연어 추론과 의미론적인 유사성을 측정하는 Task이다.

 

두 문장 관계 분류 Task에는 Natual Language Inference(NLI)와 Semantic-text-pair가 있다. 

 

Natual Language Inference(NLI)

모델이 자연어의 맥락을 이해할 수 있는지 검증하는 Task이다. 전체문장(P, Premise)과 가설문장(H, Hypothesis)을 Entailment(함의), Contradiction(모순), Neutral(중립) 으로 분류한다.

NLI Task

Semantic text pair

 두 문장의 의미가 서로 같은 문장인지 검증하는 task이다. 형태론적으로 같더라도 의미론적으로 다르면, 다른 문장으로 분류해야 한다. "무협 소설 추천해주세요."와 "판타지 소설 추천해주세요." 두 문장의 경우 형태론적으로 매우 유사하지만 의미론적으로 매우 큰 차이가 있다. 따라서 이러한 문장에 대해서는 0으로 Classifaction을 진행해야 한다. 

Semantic text pair

WandB 

 WandB를 Transformer라이브러리로 작성된 모델에서 사용하기 위해서는 기존 Pytorch Model에서 사용하던 방법과 살짝 다른 방법을 사용해야 했다. 매우 간단한 방법인데 너무 어렵게 생각해서 꽤나 시간을 버렸던 것 같다. 그래서 해당 부분에 대해서 간단히 정리해봤다.

[Wandb: Transformer라이브러리와 사용하기]

wandb: Huggingface라이브러리와 사용하기

.gitignore

팀프로젝트을 위해 git환경 세팅을 하는 과정에서 불필요한 파일들이 Tracking되는 과정을 막기 위해서 '.gitignore'파일을 세팅할 필요가 있었다. Training된 모델이나 Temp파일 등을 Tracking하지 않는 것이 gitignore의 가장 큰 목적이라고 할 수 있다. .gitignore를 구현하기 위해 배웠던 부분들에 대해 간단히 정리해봤다. 

[.gitignore파일 설정]

.gitignore 사용법

▶ Review (생각)

 강의는 이제 얼마 안 남아서 하루에 한 강의씩 정리할 계획이다. 그리고 추가적으로 일일리포트에는 프로젝트를 하면서 새로 배우게 된 내용들에 대해서 정리를 할 계획이다. 하루하루 새로 배운 강의도 중요하지만, 프로젝트를 진행하며 필요한 부분을 직접 찾고, 에러를 해결해가며 얻은 지식도 중요하는 것을 기억하자. 내가 경험으로 아는 것과 기록으로 정리해서 아는 것은 또 다른 느낌인 것 같다.