목록ODQA (8)

국문과 유목민

[일일리포트] Day 83 (프로토타입_2/ FinalProject_3)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Stremalit 과제 (ODQA 프로토타입 구현) 이전 ODQA 실습 진행을 했던 코드를 활용해서, 이전 대회에서 사용했던 모델들을 활용해서 만들고자 했다. Streamlit이라는 처음 활용하는 도구와 Retrieval 단계를 잘 이해하지 못해 생긴 오류 등이 겹쳐서 시간이 꽤나 오래걸렸다. 생긴 오류에 대해 간단하게 얘기하자면, 초기 TF-IDF를 사용하려다 생긴 not fitting 문제, Streamlit의 No..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 5. 19. 00:21
[일일리포트] Day 80

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 프로젝트 마무리 이번 대회는 1등이라는 좋은 성적을 받게되어 발표를 하게 됐다. 마침 최종 프로젝트 주제 선정과 관련해서 오프라인으로 모이기로 했었기 때문에 팀원분의 집에서 모여 PPT를 만들었다. PPT를 만들면서 간단하게 개요를 잡을 수 있었고, Wrapup리포트에 적을만한 내용들에 대해서 정리할 수 있었다. 발표는 잘 마무리 했고, 협업 과정에서 좋은 피드백을 받을 수 있었다. 오프라인 모임을 하고자 했던 이유였던..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 5. 13. 21:56
[일일리포트] Day 79 (Lelvel2_MRC_9)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Parameter Tuning & Ensemble 오늘은 어제까지 구현한 커리큘럼러닝 모델을 통해 하이퍼파라미터 튜닝을 진행했다. 튜닝은 Learning_rate와 batch_size를 변경하며 진행했고, lr을 작게 줄 수록 batch도 작게 줘야 학습이 맞을 것 같아서 두 파라미터를 수정하고자 했다. 실험 결과 처음 커리큘럼 러닝을 수행했을 때 세팅했던 값이 가장 좋았었지만 그래도 eval값이 초기 지표와 유사한 성..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 5. 12. 23:13
[일일리포트] Day 78 (Lelvel2_MRC_8)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Curriculum Learning 구현 오늘은 어제 정리했던 내용들을 토대로 우리 Task에 당장 적용시킬 수 있을만한 방법들만 고려해서 구현을 진행했다. 우선, 난이도 측정 방식의 경우 논문에서 얘기했던 Cross Review까지는 힘들고 대신 데이터셋을 10개로 나눠서 각 모델에 대한 f1-score를 계산하는 방식으로 진행했다. Epoch나 Learning_rate를 어떻게 세팅할 지 고민을 했는데, diffic..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 5. 11. 23:29
[일일리포트] Day 77 (Lelvel2_MRC_7)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 논문 읽기 어제까지 DPR관련 논문을 읽어서 오늘 구현을 진행하려고 했다. 다른 팀원분과 같이 오전까지 보고 Task를 나눠서 진행하려고 계획했는데, 사정이 생겨 오전 중에 DPR 파트를 진행하지 못하고 아예 넘겨드리게 됐다. 그래서 남은 Task 중 Curriculum Learning을 진행하고자 정보를 찾아봤다. 유튜브에서 [Open DMQA Seminar] Curriculum learning - YouTube를 통..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 5. 11. 00:27
[일일리포트] Day 76 (Lelvel2_MRC_6)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 논문 리딩(DPR, ANNA) 프로젝트에서 Reader모델의 성능을 올리기 위한 마지막 조사로 SQuAD 데이터에 대해 SOTA를 달성한 ANNA모델에 대한 논문을 봤다. 또한 Retrieval에서 마지막으로 구현해 보기 위해 DPR관련 논문을 읽었다. ANNA: Enhanced Language Representation for Question Answering ANNA는 Approach of Noun-phrase ba..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 5. 9. 23:48
Prev 1 2 Next