국문과 유목민

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Relation-Map 선정 오늘은 팀원들과 데이터 라벨을 위한 Relation-map 선정을 진행했다. KLUE 데이터에서 제시하는 Realtion을 베이스로 필요한 부분만 선정하려고 했는데, 이번에 맡은 데이터 주제가 "러시아-우크라이나 전쟁"에 관한 텍스트라서 해당되지 않는 관계가 많았다. 따라서 우리 Task에 맞게 Relation-map 선정을 진행했다. 1시간 30분정도 걸려서 Relation-map 선정을 ..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 관계 추출 데이터 이해 데이터를 만들기 전에 과제 이해가 선행되어야 한다. 그리고 과제를 이해한다는 것은 관련 레페런스를 찾아본다는 의미도 내포되어 있다. 관계 추출 Task를 이해하기 위해서는 개체명 인식 Task를 이해해야 한다. 아래의 Task들은 개체를 보는 관점, 대상 개체의 분류 레이블 차이, 관계에 대한 주석 여부와 어떻게 주석하는지, 참조 자원에서 차이점이 존재한다. 개체명 인식 (NER, Named En..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 국내 언어 데이터 구축 프로젝트 21세기 세종 계획(국립국어원) 총 2억 어절의 자료 구축, 공개 XML 형식, 언어정보나눔터 누리집을 통해 배포하다 중단 후 DVD로만 배포하게 됐다. 하지만 자료가 오래됐고, 사용에 익숙하지 않은 사람이 많다. 문어는 기사나 책, 구어는 강의나 방송 원고가 포함되어 있다. 세종 형태 분석 태그표는 MeCab, khaii, 꼬마, 한나눔, 코모란 등에서 채택하고 있다. Penn Tree..

용어 정리 NLP Task를 수행하면서, 용어적인 부분이 통일이 되지 않아 커뮤니케이션에 오류가 생긴다고 한다. 따라서 이러한 일들을 미연에 방지하기 위해 동료들 간 용어를 합의하는 과정이 필요하다고도 한다. 그러한 상황이 있을 수도 있고, 다시 정리도 할 겸 NLP관련 기초적인 용어와 정의를 간단하게 정리해보고자 한다. 자연어: 일상적으로 사용하고 있는 언어 그 자체 인공어: 여러 사람의 목적이나 의도에 따라 만든 언어 또는 컴퓨터 언어 자연어처리: 인공지능의 한 분야로 사람의 언어를 컴퓨터가 알아듣도록 처리하는 인터페이스 역할을 하는 것이다. 자연어 이해(NLU)와 자연어 생성(NLG)으로 구성된다. 자연어 처리의 최종 목표는 컴퓨터가 사람의 언어를 이해하고 여러 가지 문제를 수행할 수 있도록 하는 ..

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 데이터 제작의 A to Z AI프로젝트에 소요되는 전체 시간 중 데이터 관련 작업에 소요되는 시간 비율은 80%이다. 하지만 데이터 부분은 왕도나 지침이 없고, 체험적인 부분으로 채득해야만 한다. 데이터 구축 과정 아래와 같은 데이터 구축 과정은 다른 도매인 데이터 구축 과정에도 동일하게 적용된다. 1. 원시 데이터 선정 및 확보: 저작권 및 Task 적합성 파악 (제일 고통스러운 부분이라고 한다) 2. 구축 및 가공 ..