[일일리포트] Day 41

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다.

▶ Today I Learned (핵심 요약 정리)

마스터 클래스 정리 (NLP Recent Trends 정리)

 금일 진행한 주재걸 교수님의 마스터 클래스 주제가 NLP의 최근 트렌드에 대한 것이었기에 간단히 정리하고자 한다. 강의가 1년 전에 찍은 거였기에, 그 이후 새로 생긴 기술동향에 대해 설명을 해주셨다. 1시간이라는 짧은 시간동안 진행되었기에 깊이 있는 내용은 다루지 못했지만, 최근 관심있는 기술이나 모델들에 대해서 개괄적으로 볼 수 있었다고 생각한다. 

 Question Answering

• Open-domain Question Answering: 외부 검색지에서 정보를 가져와서 질문이 들어왔을 때 답변을 내놓는다. (retrievial과 QA가 연결되어 있다) 구조화된 Knowledege graph에서 정보를 가져와서 답변을 할 수 있는 방법에 대해서 연구하고 있다. 
• Open-Domain Chatbot: 아직도 Closed-Domain이 많지만, Open-Domain방식을 연구하고 있음(Blender Bot 2.0)
  - Open-Domain: 어떤 주제든지 다양한 목적에 대해 동작할 수 있음
  - Closed-Domain: 특정한 부분에 포커스 돼 응답이 제한된 경우, Template이 주어진 상태에서 답변을 선택하는 경우

Unsupervised Neural Machine Translation

단일 언어 코퍼스를 활용하는 신경망 기계번역 시스템

• Back-translation: 영어를 한글로 한글을 영어로 만드는 2개의 번역기 모델을 만들어서, 한글을 영어로 만드는 모델에서 만든 결과가 입력으로 들어온 문장과 똑같은 문장인지 확인한다.

Text Style Transfer

문장이 주어지면, 해당 문장을 주어진 source style로 rephrase하는 Task. context와 style이 분리되어 있는 경우((a)Disentanglement)와 분리되어 있지 않은 경우((b)Entanglement)가 존재한다. 해당 Task도 seq2seq task로 볼 수 있다. 

Quality Estimation

품질 평가(QE)는 테스트 시 기계 번역의 출력 품질을 사용자에게 알리는 것을 목적으로 수행하는 Task로, 유사도를 구해 Ground-Truth와 비교하며 평가를 진행한다. (ex. BERT Score)

Large Scale Language Model

 BERT 모델의 등장 이후, 파라미터의 수를 늘리기만 해도 성능이 올라갔기 때문에 계속해서 모델의 scale이 커지게 되었다. 그리고 이러한 모델들이 최근까지도 다양한 Task에서 SOTA Performance를 보여주고 있다.

 

Transfer Learning

Pre-training모델을 가져와 fine-tuning을 진행해서 각자의 Task에 적용시켜서 모델을 사용하는 방법이 대세다. 

In-context Learning

 Few-shot Learners Parameter를 바꾸지 않고, Examples를 활용해 우리가 원하는 Task를 수행하는 방법이다. 다시 말하자면 모델에 입력을 줄 때, 몇 가지 가능한 예시와 함께 새로운 Task에 대해 설명하는 방법이라고 할 수 있다.

Prompt Tuning

target sequence를 생성하는 동안 모델에게 추가적인 정보를 더해주는 방법이다. Model은 건드리지 않고 성능을 향상시키고자 하기 때문에, pretrained 언어모델의 weights를 frozen해놓는다.

 

Multi-Modal Models

Text를 통해 Image를 생성하는 Task를 의미하며, 대표적으로 Dall-E나 CLIP이 있다. Dall-E모델의 경우 dVAE & Transformer를 활용한다고 하셨는데, 최근 전체적인 AI 트렌드가 기존 CNN모델을 Transformer로 대체하고 있는 추세라고 말씀을 해주셨다. CLIP의 경우 이미지와 텍스트를 하나의 Embedding space에 표현하는 방법이다. 

Dall-e

▶ Review (생각)

  오늘은 피어세션 시간에 논문 발표가 있어서 다른 공부를 크게 못해서 조금 아쉬웠다. 어제 과제에 대해서 정리를 제대로 못해서 오늘 하려고 했는데 하지 못했다. 기본 과제 정리랑 심화과제 공부는 내일 해야겠다. 

 마스터 클래스는 좀 피곤했는데도 최신 기술 Trends들을 짚어주셔서 꽤나 유익했던 강의였다. 사실 실시간으로 들을 때는 너무 많은 내용을 가볍게 다루다보니 제대로 집중하기 조금은 어려웠는데 후에 혼자서 정리해보니까 큰 흐름을 잡을 수 있었다. 

 추가적으로 다음 주부터 또 프로젝트를 3주 정도 진행하게 돼서 팀원들과 협업 Rule을 정하는 시간을 가졌다. Github Commit Rule이나 Project Canbanboard 활용, Wandb를 통한 실험 관리 등을 정했다. 이번 프로젝트는 저번 프로젝트보다 더 잘 해내고 싶은 마음도 있고, 또 잘 해낼 수 있을 것 같다. 이번 프로젝트의 성과도 중요하지만 그보다 포트폴리오가 될 수 있게 체계적으로 관리하면서 프로젝트를 진행해야겠다. 그리고 이전에 피드백 했던 것처럼 내가 하는 일을 왜 해야 하는지를 설정하고, 일을 진행해야겠다.