1. 논문 제목
Attention is all you need(2017)
링크 : https://arxiv.org/abs/1706.03762

2. Overview
- Transformer 이전의 자연어 처리 모델들에 대해 간단하게 조사하고 Attention is all you need(2017) 논문을 기반으로 트랜스포머 아키텍처에 대한 설명을 다룸
- 트랜스포머 아키텍처
- 기존 RNN 기반 자연어 처리 모델들의 단점을 해결하기 위해 트랜스포머 아키텍처가 등장
- Attention만을 활용하여 인코더-디코더를 구성하여 기존의 아키텍처들과 병렬처리가 가능해짐
- Positional Encoding, Self-Attention, Multi-Head Attention등을 활용하여 모델의 성능과 훈련 효율을 개선하였음