목록transformer (3)

국문과 유목민

[일일리포트] Day 39 (Transformer2)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 앞선 Transformer 정리에서 이어집니다. 그리고 해당 사이트(http://jalammar.github.io/illustrated-transformer/)의 자료로 정리를 하며 중간중간 강의에서 배운 내용이 들어갑니다. Transformer: Multi-Head Attention Transformer의 성능을 더 발전시키기 위해서 'Multi-Head Attention'이라는 방법을 사용합니다. 말 그대로 Atte..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 3. 16. 23:52
[일일리포트] Day 37 (Transformer1)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) Transformer Transformer는 'Attention is all you need'라는 모델에서 나온 개념으로 RNN모듈에서 벗어난 새로운 방법이다. RNN은 입력으로 들어오는 데이터가 많아질수록 어쩔 수 없이 gradient vanishing문제가 발생하게 된다. 따라서 이러한 문제를 해결하고자 나온 것이 바로 Transformer이다. Transformer는 아래 그림처럼 Attetntion만으로 seq ..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 3. 14. 21:48
[일일리포트] Day 14 (RNN 계열)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) RNN Sequential data는 몇 개의 입력이 들어올 지 모르기 때문에 CNN을 사용할 수 없다. Naive Sequence Model을 활용하게 되면, 과거에 내가 고려해야 하는 정보가 계속 늘어나게 된다. 따라서 이러한 문제를 해결할 수 있는 방법은 과거의 볼 데이터를 한정해 놓는 것이다. 이러한 모델을 Autoregressive model(자기회귀 모델)이라고 한다. MarkovModel First-orde..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 2. 8. 22:40
이전 Prev 1 Next 다음