역전파
backpropagation
오차를 후방으로 전파하는 방식
출처 : 텐스플로 첫걸음
| 스트라이드_20210924 (0) | 2021.10.11 |
|---|---|
| 손실함수_20210922 (0) | 2021.10.11 |
| 교차 엔트로피 에러_20210920 (0) | 2021.10.11 |
| 소프트맥스 함수_20210919 (0) | 2021.10.11 |
| 계층_20210918 (0) | 2021.10.11 |
하나의 unit으로는 xor절대 풀 수 없다.
여러 개 있을 때 풀 수 있다
하지만 각각에 들어가 있는 weight, bias학습 할 것인가 ?
하나의 network은 하나의 unit
구현 가능한지 확인 한다.
backpropagation
미분이 들어간다.
상수함수를 미분하면 0이 나온다.
편미분
복잡한 미분을 구할 때 각각 구하면 된다.
그 점에서 기울기를 구해서 계속 내려가는 최종적으로 global minimum에 도달 할 수 있다.
기울기 미분 값이 필요한다.
간단한 것 이해하면 어려운 것 도 알 수 있다.
미분의 의미:
sigmoid 미분
https://questionet.tistory.com/23
밑바닥부터 시작하는 딥러닝 1 167페이지
cost함수의 미분
tensorflow는 각각의 그래프로 만들었다. 미분을 하기위해서 backpropagation
sigmoid 미분
https://www.youtube.com/watch?v=rQmxoLzXYzY
| Convolutional Neural Networks (0) | 2021.07.06 |
|---|---|
| Neural Network 2: ReLU and 초기값 정하기 (2006/2007 breakthrough) (0) | 2021.07.06 |
| Neural Network 1: XOR 문제와 학습방법, Backpropagation (0) | 2021.07.04 |
| 딥러닝의 기본 개념과, 문제, 그리고 해결 (0) | 2021.07.04 |
| ML의 실용과 몇가지 팁 (0) | 2021.07.03 |
| Neural Network 2: ReLU and 초기값 정하기 (2006/2007 breakthrough) (0) | 2021.07.06 |
|---|---|
| Neural Network 1: XOR 문제와 학습방법, Backpropagation (0) | 2021.07.04 |
| 딥러닝의 기본 개념과, 문제, 그리고 해결 (0) | 2021.07.04 |
| ML의 실용과 몇가지 팁 (0) | 2021.07.03 |
| Softmax Regression (Multinomial Logistic Regression) (0) | 2021.07.03 |