Coding Optimization linguana 2021. 5. 25. 10:43 Gradient Descent Optimization Algorithms 정리 (shuuki4.github.io) Gradient Descent Optimization Algorithms 정리 Neural network의 weight을 조절하는 과정에는 보통 ‘Gradient Descent’ 라는 방법을 사용한다. 이는 네트워크의 parameter들을 $\theta$라고 했을 때, 네트워크에서 내놓는 결과값과 실제 결과값 사이의 차이 shuuki4.github.io Deep Learning Optimizers. SGD with momentum, Adagrad, Adadelta… | by Gunand Mayanglambam | Towards Data Science 저작자표시 비영리 변경금지 (새창열림)