Backpropagation by hand
[Deep Learning 시리즈] Backpropagation, 역전파 알아보기 | Evans Library (evan-moon.github.io)
[Deep Learning 시리즈] Backpropagation, 역전파 알아보기
이번 포스팅에서는 저번 포스팅에 이어 에 대해서 알아보려고 한다. 앞서 설명했듯, 이 알고리즘으로 인해 에서의 학습이 가능하다는 것이 알려져, 암흑기에 있던 학계가 다시 관심을 받게 되었
evan-moon.github.io
문과생도 이해하는 딥러닝 (2) - 신경망 Neural Network (tistory.com)
문과생도 이해하는 딥러닝 (2) - 신경망 Neural Network
2017/09/27 - [Data Science/Deep Learning] - 문과생도 이해하는 딥러닝 (1) - 퍼셉트론 Perceptron 한동안 인스타나 기타 SNS 크로러를 개발하느라고 딥러닝 정리가 조금 소홀했었다. 딥러닝과 집적 관련된 내용
sacko.tistory.com
03-4) 역전파(BackPropagation) 이해하기 - 딥 러닝을 이용한 자연어 처리 입문 (wikidocs.net)
위키독스
온라인 책을 제작 공유하는 플랫폼 서비스
wikidocs.net
위 예시에서는 bias update하는 부분이 나와있지 않으므로 다음과 같은 링크를 첨부한다:
핵심은, weight update과 비슷하지만, 단지 "bias는 output이 없으므로 그 값을 1로 설정"하여 update를 해준다. 다른 말로 하자면 old bias는 1이다.
(새로운 bias) = (Learning rate) * 1 * (델타 값 aka 기여도 값)
machine learning - How to update the bias in neural network backpropagation? - Stack Overflow