목록의존구문분석 (1)

국문과 유목민

[일일리포트] Day 43 (단일 문장 분류)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) BERT Pre-Training BERT모델 학습을 하는 단계는 다음과 같다. 1. Tokenizer만들기 2. 데이터셋 확보 3. Next Sentence Prediction(NSP) 4. Masking 이미 있는 모델이 아닌 새로운 모델로 학습을 해야 하는 이유는 특정 도메인 Task에 대해. 도메인에 특화된 학습 데이터만 사용하는 것이 기존의 BERT를 Finetuning하는 것보다 성능이 더 좋게 나온다. 그리고..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 3. 22. 22:43
이전 Prev 1 Next 다음