국문과 유목민

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 관계 추출 데이터 이해 데이터를 만들기 전에 과제 이해가 선행되어야 한다. 그리고 과제를 이해한다는 것은 관련 레페런스를 찾아본다는 의미도 내포되어 있다. 관계 추출 Task를 이해하기 위해서는 개체명 인식 Task를 이해해야 한다. 아래의 Task들은 개체를 보는 관점, 대상 개체의 분류 레이블 차이, 관계에 대한 주석 여부와 어떻게 주석하는지, 참조 자원에서 차이점이 존재한다. 개체명 인식 (NER, Named En..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 국내 언어 데이터 구축 프로젝트 21세기 세종 계획(국립국어원) 총 2억 어절의 자료 구축, 공개 XML 형식, 언어정보나눔터 누리집을 통해 배포하다 중단 후 DVD로만 배포하게 됐다. 하지만 자료가 오래됐고, 사용에 익숙하지 않은 사람이 많다. 문어는 기사나 책, 구어는 강의나 방송 원고가 포함되어 있다. 세종 형태 분석 태그표는 MeCab, khaii, 꼬마, 한나눔, 코모란 등에서 채택하고 있다. Penn Tree..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 데이터 제작의 A to Z AI프로젝트에 소요되는 전체 시간 중 데이터 관련 작업에 소요되는 시간 비율은 80%이다. 하지만 데이터 부분은 왕도나 지침이 없고, 체험적인 부분으로 채득해야만 한다. 데이터 구축 과정 아래와 같은 데이터 구축 과정은 다른 도매인 데이터 구축 과정에도 동일하게 적용된다. 1. 원시 데이터 선정 및 확보: 저작권 및 Task 적합성 파악 (제일 고통스러운 부분이라고 한다) 2. 구축 및 가공 ..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 프로젝트 결과 발표 리뷰 1등 팀과 2등 팀의 발표를 들으면서, 우리 팀이 진행한 방향과 비슷하다는 느낌을 받았다. Multi Sentence Input이나 Input Data에 태깅을 하는 방법, 모델 커스텀 방법 등 우리가 했던 Task를 동일하게 수행하셨다. 하지만 성적은 같은 정보를 보고 어떤 아이디어를 생각해서 적용시켰는 지에서 차이가 났던 것 같다. 다른 팀들의 프로젝트 발표를 듣고, 마스터님께서 추가적으로 ..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 모델 앙상블 프로젝트 마지막 날이라 성능을 끌어올릴 수 있게 팀원들과 상의를 해서 모델 앙상블을 진행했다. 팀원들과 2시부터 7시까지 지금까지 제출했었던 모델들을 하나씩 보면서 어떻게 조합하면 좋을 지 많이 상의를 했었다. 오늘 하루 남은 제출 중 8번 이상을 앙상블 모델을 만들어 제출했는데, 결과적으로 마지막 앙상블 모델에서 가장 높은 성능을 달성할 수 있었다. 모델 Ensemble을 진행하면서, Ensemble 진행 이전과 이후 모델의 Differen..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 모델 실험 Competition 마감이 금요일인 줄 잘못 알고 있다가 발에 불이 떨어졌다. 이제는 새로운 것들을 접목시키기보다 지금까지 실험했던 것을 정리하고 합해서 마지막으로 성능 향상을 시켜야 할 필요가 있다고 생각했다. 그래서 미뤄놨던 train_test split 비율을 극단적으로 낮춰서 Train 데이터를 학습시키고자 했으며, 이전에 AMP를 적용했을 때 성능이 또 줄어들었기에 AMP도 빼고 해보고자 했다. 하지만 AMP를 빼니 Batch_siz..