Connecting dots via Data

순환 신경망(Recurrent Neural Network, RNN) RNN은 위 그림의 A와 같이 입력층과 출력층 사이에 있는 은닉층의 정보(가중치 등)를 다음 단계로 넘겨 공유함 즉, 이전에서 받은 정보 A에 새로운 입력값이 더해져 A가 계속 업데이트되어 다음으로 전달되는 구조 문제점은 가중치w가 n번 업데이트된다는 것은 w의 n제곱으로 계산되는 값. 즉, 가중치가 양의 값이면 w의 n제곱은 거의 무한대로 커져 연산량이 많아지거나, 가중치가 음의 값이면 w의 n제곱은 0에 가까워져 학습 효과가 없어진다는 것. Vanishing 문제. 그래서 잘 쓰이지 않고, 이 문제에 대한 대안법이 있는 LSTM과 GRU를 사용 1. LSTM (1997) LSTM은 RNN의 구조에서 가중치 연산이 일어나 전달하는 "A..