국문과 유목민

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 정보 검색 및 모델 실험 이제 대회 종료까지도 3일 정도 남았고, 우리 팀이 초기에 생각했었던 부분은 거의 다 구현을 한 것 같다. 그래서 이제는 조금 더 성능을 올릴 수 있는 방법이 있을까하고 여러 논문이나 글을 보고자 했다. 지금 당장 모델을 새로 짜는 것은 시간이 좀 오래 걸릴 것 같았다. 그래서 파라미터 튜닝이나 아이디어적인 측면을 보고자 했다. Papers with code에서 Relation Extraction on TACRED에 해당하는 논문..

▶ 오늘 한 일 월요일이다보니까 주말에 한 내용과 관련해서 같이 정리를 하도록 하겠다. 주말과 오늘 동안 크게 Electra모델을 활용했고, 하이퍼파라미터 튜닝을 위해 ray와 wandb sweep을 구현해보고자 했다. 자세한 내용은 아래에서 얘기하도록 하겠다. ElectraModel활용 우선 저번 주까지 RoBERTa모델을 통해서 우리 팀 내 가장 높은 성적을 이끌어낼 수 있었다. 그리고 다른 팀원분들께서는 Layer를 쌓는 방법이나, Task를 나눠서 모델을 여러 개 사용하는 방법 등을 시도하고 계셨다. 따라서 나는 다른 pre-trained된 모델을 도입해오고자 했다. 글래서 KoELECTRa모델을 사용하고자 했다. 결론부터 얘기하자면, KoELECTRa모델의 성능이 썩 좋지 않았다. 처음에는 파라..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 모델 실험 진행 실험1 앞선 실험과 동일하게 [CLS]# ^ {타입} ^ {주어} # ]@ * {타입} * {목적어} @ 씨는 예원학교, ... [SEP]의 꼴의 문장을 Input으로 넣어줬다. 하지만 해당 논문An Improved Baseline for Sentence-level Relation Extraction을 구현한 코드를 참고해서 파라미터 세팅을 해줬다. warmup_ratio, adam_epsilion, learning_rate, max_se..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 모델 학습 진행 (학습) 실험1 어제에 연장선으로 Input sentence tagging 작업 위주로 실험을 진행했다. 우선, 오전까지 가장 좋은 성능을 보여준 모델을 대상으로 valid 데이터 없이 train을 진행했다. 해당 실험의 경우 단순하게 기존 base model과 같은 조건에서 점수가 올라간 코드만 수정해서 학습을 진행하면 그 이상 성능이 올라갈 것이라는 가설에서 진행했다. 하지만 실험 결과 오전까지 가장 좋은 성능을 보여준 모델과 비교해서..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 모델 태깅 테스트 오늘은 모델에 입력을 데이터를 넣어주기 전에 어떤 형태로 데이터를 넣어줄 지에 대해서 실험을 해봤다. 저번 주말에 실험했었지만 잘못 사용해서 성능이 좋지 않았었기 때문에 이번에 다시하고자 했다. 결론부터 얘기하자면 성능향상이 있었다. 현재 베이스로 삼은 기본적인 모델의 점수는 micro_f1: 66.8291 / auprc: 66.4059 이다. 오늘 팀원들에게 양해를 구하고 총 3번의 실험을 진행했다. 우선 어제 밤 저녁부터 오늘 아침까..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ 오늘 한 일 강의 1강 & 오피스 아워 이번 주 강의는 총 3강으로 GPT에 관한 강의이기 때문에 내일 다 듣고 한 번에 정리하도록 해야겠다. 또한 오피스아워 때 챗봇 기술 동향에 대해서 강의를 해주셨는데, 해당 내용에 대해서 별도의 포스팅으로 정리할 계획이다. 리팩토링 작업 코드의 간결성과 사용성을 위해 리팩토링 작업을 진행했다. 프로젝트를 진행하면서 새로운 코드가 추가되고고 다양한 실험을 진행하는 도중 실수가 발생했다. 코드 컨벤션이 설정되어 있지 않았고, 또한 ..