Logistic Classification의 가설 함수 정의

가설함수

Cost는 실제값과예측 값의 차이

최소화 해야 한다.

경사하강법으로 내려 간다.

기울기는 우리의 cost함수가 미분을 한 값 w, b

Step: 얼마나 움직일가. Learning rate

Classification : binary

Spam or ham

show or hide 좋아요 가지고 학습해서 한다.

Legitimate/fraud : credit card 잊어버릴때 

0,1 encoding : 기계적으로 학습하기 위해서 

예:

주식 살가 팔가 

예: 몇시간 정도 공부 했더니 pass or fail

Linear Regressoin : 단점 : 한 분이 다른 분과 다르게 50시간을 공부할 경우 선이 기울어 질 수 있다. 

우리가 classification 0과 1사이 로 나와야 하는데

1보다 휠씬 큰 값이 나 올 수 있다.

W = 0.5, b=0

가설함수는 1보다 크거나 0보다 작은 값이 나올 수 있다.

H(X) =WX +b

G(z) 0~ 1 사이의 값으로 만드는것

Logistic function

sigmoid function

Logistic Regression의 cost 함수 설명

오늘쪽 그림에서 시작점에 따라 최소점이 다를 수 있다.

local minimum

exponential이 있다 . 상반되는 것이 log이다.

cost최소화하기 위해서 

예측이 틀리면 0이여서 무한데로 간다.

시스템이 잘못 예측할 경우 크게 한다.

cost주어지면 minimize한다.

기울기를 구하기 위해서 미분을 한다.

multi-variable linear regression (new)

여러개의 변수 

linear regression 중요한 세가지: 

가설 

cost function 예측

gradient descent algorithm

예측값과 실제값의 차이를 제곱해서 

cost가 최적화 되는 값을 찾는다.

one-variables / one-features

mutli-variables / features

3개일 경우:

Matrix 이용해서 간단하게 한다.

Matrix multiplication

dot porduct

하나를 instance

많은 instance가 있다. row

여러번 반복해서 하면 효율성이 떨이진다.

각각 instance를 한번 곱하는 것 같이

Linear Regression의 cost 최소화 알고리즘의 원리

cost function  minimize

데이터를 통해서 구한다.

b를 없에서 간단하게 가설한다.

ㅊ

최소화 되는 점을 찾는다.

Gradient Descent Algorithm

경사를 따라 내려가는 알고리즘이다.

W,b 계산해서 한다.

미분을 이용해서 계산한다.

미분을 쉽게 하기 위해서 숫자 2를 하였다.

상수 

cost function 미분한다.

기울기를 구한다.

미분의 절차

Convex function : 밥 그릇 같은 형태

항상 답을 찾는 것을 고정해준다.

Linear Regression의 Hypothesis 와 cost

regression:

예: 몇시간 공부해서 얼마 나오는지 ?

값을 예측해준다.

학습 데이터 

hypothesis :

linear regression로 가설한다.

H(x) = Wx +b

W, b에 따라 선의 모양이 달라진다.

Cost function , loss function

H(x) -y => (H(x) -y ) ^ 2 을 한다.

+- 통일

차이가 클때 penalty를 많이 준다.

cost function 은 W,b 를 구하는 것이다.

HKUST 김성훈 교수

edwith

기본적인 Machine Learnnig 의 용어와 개념 설명

ML:

Field of study that gives computers the ability to learn without being explicitly programmed

supervised learning:

정해져 있는 데이터 label 이 정해져있다.

레이블이 정해져있다.

regression : 범위가 넓다.

classification  : 분류

• binary classification : 둘중에 하나 고른다.
• multi-label classification: 여러개 중 하나 고른다.

unsupervised Learing:

레이블을 줄 수 없는 것이다.

강화학습

AlphaGo