Connecting dots via Data

● Attention Is All You Need (NIPS 2017) 핵심 개념 - 자연어 처리와 같은 시계열 데이터의 처리에서 RNN 계열의 모델이 아닌 Attention 개념이 등장함. - 트랜스포머는 Encoder 부분과 Decoder 부분으로 구성되어 있음. - Encoder에는 Input 데이터를 Positional Encoding하고, Multi-head Attention 레이어를 거쳐 Feed-Forward 레이어로 전달하는 부분이 구성되어 있으며, 이 레이어들을 거쳐 나온 Output이 Decoder부분으로 전달됨. - 그리고 각 레이어에는 Residual 레이어가 추가되어 있음 (skip connection) - Decoder에는 Encoder와 같은 구조 앞뒤로 Masked Multi..