NAIAHD

경사하강법

gradient descent

함수 값을 최소화하는 최적화 알고리즘

이론적으로 말해 경사 하강법은 일련의 매개변수로 된 함수가 주어지면 초기 시작점에서 함수의 값이 최소화되는 방향으로 매개변수를 변경하는 것을 반복적으로 최적화를 수행합니다. 

함수의 기울기를 음의 방향쪽으로 진행하면서 반복적으로 최적화를 수행합니다.

보통 양의 값을 만들기 위해 거리 값을 제곱하며 , 기울기를 계산해야 하므로 오차함수는 미분 가능해야 합니다.

출처 : 텐서플로 첫걸음