목록MultiHeadAttention (1)

국문과 유목민

[일일리포트] Day 39 (Transformer2)

해당 일일리포트에서는 네이버 커넥트에서 진행하는 '부스트캠프 AI Tech 3기'에서 배운 내용을 다루고 있습니다. 저작권 이슈 때문에 관련 자료를 올릴 수는 없기에 핵심 이론과 코드를 요약해서 올리고 있기에 내용이 부족할 수 있습니다. ▶ Today I Learned (핵심 요약 정리) 앞선 Transformer 정리에서 이어집니다. 그리고 해당 사이트(http://jalammar.github.io/illustrated-transformer/)의 자료로 정리를 하며 중간중간 강의에서 배운 내용이 들어갑니다. Transformer: Multi-Head Attention Transformer의 성능을 더 발전시키기 위해서 'Multi-Head Attention'이라는 방법을 사용합니다. 말 그대로 Atte..
IT 견문록/2022_부스트캠프 AITech 3기(100일) 2022. 3. 16. 23:52
이전 Prev 1 Next 다음