RNN

Recurrent Neural Network

내부적으로 순환(recurrent) 되는 구조를 이용하여, 순서(sequence)가 있는 데이터를 처리하는데 강점을 가진 신경망

개요

순서가 있는 데이터

같은 데이터라도 순서에 따라 의미가 달라지는 특성을 가진 데이터

• ex) 문장1: I google at work vs 문장2: I work at google
  • 문장1에선 google이 동사, 문장2에선 google이 명사
• 주로 자연어 처리에서 많이 사용됨
• 은닉층에서의 순환구조를 통해 이전 데이터와 이후 데이터를 연결시켜 분석 가능

600px

수식 표현

h_t = f_W(h_t-1, x_t)

• h_t = 새로운 상태
• f_W = 파라미터 W에 대한 활성화 함수
• h_t-1 = 예전 상태
• x_t = 현재 상태의 입력 벡터

활용

• 자연어 처리

LSTM

Long Short Term Memory

• 대표적인 RNN 알고리즘