국문과 유목민

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 프로젝트 결과 발표 리뷰 1등 팀과 2등 팀의 발표를 들으면서, 우리 팀이 진행한 방향과 비슷하다는 느낌을 받았다. Multi Sentence Input이나 Input Data에 태깅을 하는 방법, 모델 커스텀 방법 등 우리가 했던 Task를 동일하게 수행하셨다. 하지만 성적은 같은 정보를 보고 어떤 아이디어를 생각해서 적용시켰는 지에서 차이가 났던 것 같다. 다른 팀들의 프로젝트 발표를 듣고, 마스터님께서 추가적으로 ..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 모델 실험 Competition 마감이 금요일인 줄 잘못 알고 있다가 발에 불이 떨어졌다. 이제는 새로운 것들을 접목시키기보다 지금까지 실험했던 것을 정리하고 합해서 마지막으로 성능 향상을 시켜야 할 필요가 있다고 생각했다. 그래서 미뤄놨던 train_test split 비율을 극단적으로 낮춰서 Train 데이터를 학습시키고자 했으며, 이전에 AMP를 적용했을 때 성능이 또 줄어들었기에 AMP도 빼고 해보고자 했다. 하지만 AMP를 빼니 Batch_siz..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 모델 실험 진행 실험1 앞선 실험과 동일하게 [CLS]# ^ {타입} ^ {주어} # ]@ * {타입} * {목적어} @ 씨는 예원학교, ... [SEP]의 꼴의 문장을 Input으로 넣어줬다. 하지만 해당 논문An Improved Baseline for Sentence-level Relation Extraction을 구현한 코드를 참고해서 파라미터 세팅을 해줬다. warmup_ratio, adam_epsilion, learning_rate, max_se..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 강의 1강 & 오피스 아워 이번 주 강의는 총 3강으로 GPT에 관한 강의이기 때문에 내일 다 듣고 한 번에 정리하도록 해야겠다. 또한 오피스아워 때 챗봇 기술 동향에 대해서 강의를 해주셨는데, 해당 내용에 대해서 별도의 포스팅으로 정리할 계획이다. 리팩토링 작업 코드의 간결성과 사용성을 위해 리팩토링 작업을 진행했다. 프로젝트를 진행하면서 새로운 코드가 추가되고고 다양한 실험을 진행하는 도중 실수가 발생했다. 코드 컨벤션이 설정되어 있지 않았고, 또한 ..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 주말동안 수행한 Task 공유 및 회의 팀원들과 주말 간 수행한 Task에 대해 정리했다. 모델 실험 결과 공유 (최고 결과 f1-70) Test Inference EDA 코드 작성 또한 모델 실험에 따른 wandb named rule과 실험 결과 정리 규칙을 설정했다. 새로운 인사이트 주말동안 수행한 Task에서 문제가 있었다는 것을 알게 됐다. 주말동안 Entity tag 등을 문장이나 sbj, obj 등에 추가해주는 작업을 진행했었다. 하지만 성능이..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 Develop Merge 진행 팀원들과 같이 데이터 전처리 파트에 대해서 각자 수행한 코드를 Merge하기 위해 zoom을 키고 실시간으로 진행했다. git에 익숙하지 않은 팀원분들이 계셔서 같이 실시간으로 진행해봤는데 꽤 좋았었다. 그래서 앞으로 오프닝 세션이나 피어세션 시간에 그 날 PR로 올라온 사항들에 대해서 같이 보고 Merge를 진행하기로 했다. 각자 실험한 내용들과 코드를 정리하느라 시간이 꽤 오래 걸려서 오전 세션에서 거의 2시간이라는 시간..