국문과 유목민

GPT BERT는 Transformer의 인코더 구조를 사용한 모델이라면, GPT는 Transformer의 Dedcoder를 활용한 모델이다. GPT초기 모델은 BERT보다 먼저 등장해 pre-train 언어 모델의 새 지평을 열었다. 입력이 들어오면 어떤 입력이 다음으로 나올지를 생각한다. GPT는 자연어 문장을 분류하는데 아주 좋은 성능을 보여준다. 적은 양의 데이터에서도 높은 분류 성능을 나타내고, 다양한 자연어 task에서 SOTA를 달성했다. 하지만 GPT도 단점이 존재하는데 여전히 지도학습을 필요로 하며, labeled된 데이터가 필수적이라는 단점이 있었다. 그리고 특정 task를 위해서 fine-tuning된 모델은 다른 모델에서 사용이 불가능하다는 단점이 있었다. 여기서 "언어"의 특성 상..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Recent Trendes in NLP 기존 Transformer에서 Self-Attention block을 6개만 쌓아다면 이제는 더 많이 쌓고 있다. Self-supervised Learning framework를 통해 깊게 쌓인 Transformer를 TransferLearning으로 학습해 다양한 NLP Task의 성능을 상당히 발전시킬 수 있었다. 해당 모델로는 BERT, GPT-3, XLNet, ALBERT,..