국문과 유목민

Chatbot 사전적 정의) 음성이나 문자를 사용한 인간과의 대화를 통해서 특정한 작업을 수행하도록 제작된 컴퓨터 프로그램. 챗봇과 관련된 인공지능 용어나 동작원리를 아는 것은 챗봇을 더 잘 이해하고 사용하는데 도움이 될 수 있다. 챗봇을 사용함에 있어 중요한 것 중 하나는 챗봇에 대한 기대치를 적절하게 설정해야 한다는 것이다. 따라서 챗봇을 잘 이해한다면 기대치 기대치를 알맞게 설정해 원하는 목적을 위해 더 잘 사용할 수 있을 것이다. NLP, NLU, NLG 챗봇에는 (1) 상대방의 말을 잘 이해하기 위한 NLU 기술, 그리고 (2) 적절한 답변을 생성하기 위한 NLG 기술을 포함하는 다양한 NLP 기술이 챗봇에 적절하게 통합되어야 한다. NLP (Natural Language Processing) ..

GPT BERT는 Transformer의 인코더 구조를 사용한 모델이라면, GPT는 Transformer의 Dedcoder를 활용한 모델이다. GPT초기 모델은 BERT보다 먼저 등장해 pre-train 언어 모델의 새 지평을 열었다. 입력이 들어오면 어떤 입력이 다음으로 나올지를 생각한다. GPT는 자연어 문장을 분류하는데 아주 좋은 성능을 보여준다. 적은 양의 데이터에서도 높은 분류 성능을 나타내고, 다양한 자연어 task에서 SOTA를 달성했다. 하지만 GPT도 단점이 존재하는데 여전히 지도학습을 필요로 하며, labeled된 데이터가 필수적이라는 단점이 있었다. 그리고 특정 task를 위해서 fine-tuning된 모델은 다른 모델에서 사용이 불가능하다는 단점이 있었다. 여기서 "언어"의 특성 상..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 모델 학습 진행 (학습) 실험1 어제에 연장선으로 Input sentence tagging 작업 위주로 실험을 진행했다. 우선, 오전까지 가장 좋은 성능을 보여준 모델을 대상으로 valid 데이터 없이 train을 진행했다. 해당 실험의 경우 단순하게 기존 base model과 같은 조건에서 점수가 올라간 코드만 수정해서 학습을 진행하면 그 이상 성능이 올라갈 것이라는 가설에서 진행했다. 하지만 실험 결과 오전까지 가장 좋은 성능을 보여준 모델과 비교해서..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 모델 태깅 테스트 오늘은 모델에 입력을 데이터를 넣어주기 전에 어떤 형태로 데이터를 넣어줄 지에 대해서 실험을 해봤다. 저번 주말에 실험했었지만 잘못 사용해서 성능이 좋지 않았었기 때문에 이번에 다시하고자 했다. 결론부터 얘기하자면 성능향상이 있었다. 현재 베이스로 삼은 기본적인 모델의 점수는 micro_f1: 66.8291 / auprc: 66.4059 이다. 오늘 팀원들에게 양해를 구하고 총 3번의 실험을 진행했다. 우선 어제 밤 저녁부터 오늘 아침까..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 강의 1강 & 오피스 아워 이번 주 강의는 총 3강으로 GPT에 관한 강의이기 때문에 내일 다 듣고 한 번에 정리하도록 해야겠다. 또한 오피스아워 때 챗봇 기술 동향에 대해서 강의를 해주셨는데, 해당 내용에 대해서 별도의 포스팅으로 정리할 계획이다. 리팩토링 작업 코드의 간결성과 사용성을 위해 리팩토링 작업을 진행했다. 프로젝트를 진행하면서 새로운 코드가 추가되고고 다양한 실험을 진행하는 도중 실수가 발생했다. 코드 컨벤션이 설정되어 있지 않았고, 또한 ..