RNN

Sequence data, 예를들어 문장 같은 경우 한 단어만으로는 이해할 수 없습니다. 전 단어와 현 단어를 기반으로 이해해야 합니다. -> Time Series

이런 데이터를 학습하기 위한 모델이 RNN입니다.

RNN 구조

그림을 보면 알 수 있듯이 앞에서의 결과가 다음으로 전달됩니다.

 

다음은 간단히 hello라는 문장을 예로 든 그림입니다.

검색을 할 때 연관검색어가 뜨는 등의 역할을 할 수 있습니다. 

출처 모두를 위한 딥러닝 강좌

RNN 구조는 다음과 같이 큰 유연성을 가집니다.

출처 모두를 위한 딥러닝 강좌

 

● RNN Cases

1. Vanilla RNN

 activation 함수로 tanh를 사용합니다.

2.  LSTM RNN

 Vanishing Gradient Problem해결을 위해 RNN의 히든 state에 cell-state를 추가한 구조입니다.

⊙는 요소별 곱셈을 뜻합니다.(Hadamard product)

출처 https://medium.com/datadriveninvestor/recurrent-neural-networks-for-beginner-471aec9fdeaf

forget gate는 과거정보를 잊기 위한 gate, input gate는 현재정보를 기억하기 위한 gate라고 생각하면 됩니다.

즉, LSTM에선 다음층으로 기억된 값을 넘길지, 안넘길지 관리하는 단계를 하나 더 추가한 것이죠.(forget gate)