Restricted Boltzmann Machines

제한된 볼츠만 머신

데이터를 재구성(reconstruct) 함을 통해 입력 데이터의 패턴을 찾아내는 모델.

• Geoff Hinton 교수가 제안
• Vanishing Gradient 에 대한 해결 방안으로 사용 가능
• Unsupervised
• Feature extractor 의 일종이라고 할 수 있다.
  • 데이터에 내재한 패턴을 찾아냄.
• auto encoder 와 유사함.
• Shallow 2-layer net 이다.
  • visible layer
  • hidden layer

Recontruction

forward / backward 를 반복적으로 학습시켜 data 의 숨겨진 feature 들을 학습시킨다.
loss 는 KL Divergence 를 사용.