Logistic Classification의 가설 함수 정의

가설함수

Cost는 실제값과예측 값의 차이

최소화 해야 한다.

경사하강법으로 내려 간다.

기울기는 우리의 cost함수가 미분을 한 값 w, b

Step: 얼마나 움직일가. Learning rate

Classification : binary

Spam or ham

show or hide 좋아요 가지고 학습해서 한다.

Legitimate/fraud : credit card 잊어버릴때 

0,1 encoding : 기계적으로 학습하기 위해서 

예:

주식 살가 팔가 

예: 몇시간 정도 공부 했더니 pass or fail

Linear Regressoin : 단점 : 한 분이 다른 분과 다르게 50시간을 공부할 경우 선이 기울어 질 수 있다. 

우리가 classification 0과 1사이 로 나와야 하는데

1보다 휠씬 큰 값이 나 올 수 있다.

W = 0.5, b=0

가설함수는 1보다 크거나 0보다 작은 값이 나올 수 있다.

H(X) =WX +b

G(z) 0~ 1 사이의 값으로 만드는것

Logistic function

sigmoid function

Logistic Regression의 cost 함수 설명

오늘쪽 그림에서 시작점에 따라 최소점이 다를 수 있다.

local minimum

exponential이 있다 . 상반되는 것이 log이다.

cost최소화하기 위해서 

예측이 틀리면 0이여서 무한데로 간다.

시스템이 잘못 예측할 경우 크게 한다.

cost주어지면 minimize한다.

기울기를 구하기 위해서 미분을 한다.

multi-variable linear regression (new)

여러개의 변수 

linear regression 중요한 세가지: 

가설 

cost function 예측

gradient descent algorithm

예측값과 실제값의 차이를 제곱해서 

cost가 최적화 되는 값을 찾는다.

one-variables / one-features

mutli-variables / features

3개일 경우:

Matrix 이용해서 간단하게 한다.

Matrix multiplication

dot porduct

하나를 instance

많은 instance가 있다. row

여러번 반복해서 하면 효율성이 떨이진다.

각각 instance를 한번 곱하는 것 같이

Linear Regression의 cost 최소화 알고리즘의 원리

cost function  minimize

데이터를 통해서 구한다.

b를 없에서 간단하게 가설한다.

ㅊ

최소화 되는 점을 찾는다.

Gradient Descent Algorithm

경사를 따라 내려가는 알고리즘이다.

W,b 계산해서 한다.

미분을 이용해서 계산한다.

미분을 쉽게 하기 위해서 숫자 2를 하였다.

상수 

cost function 미분한다.

기울기를 구한다.

미분의 절차

Convex function : 밥 그릇 같은 형태

항상 답을 찾는 것을 고정해준다.

Linear Regression의 Hypothesis 와 cost

regression:

예: 몇시간 공부해서 얼마 나오는지 ?

값을 예측해준다.

학습 데이터 

hypothesis :

linear regression로 가설한다.

H(x) = Wx +b

W, b에 따라 선의 모양이 달라진다.

Cost function , loss function

H(x) -y => (H(x) -y ) ^ 2 을 한다.

+- 통일

차이가 클때 penalty를 많이 준다.

cost function 은 W,b 를 구하는 것이다.

HKUST 김성훈 교수

edwith

기본적인 Machine Learnnig 의 용어와 개념 설명

ML:

Field of study that gives computers the ability to learn without being explicitly programmed

supervised learning:

정해져 있는 데이터 label 이 정해져있다.

레이블이 정해져있다.

regression : 범위가 넓다.

classification  : 분류

• binary classification : 둘중에 하나 고른다.
• multi-label classification: 여러개 중 하나 고른다.

unsupervised Learing:

레이블을 줄 수 없는 것이다.

강화학습

AlphaGo

https://www.youtube.com/watch?v=J6wehCO_c58&list=PLVsNizTWUw7HpqmdphX9hgyWl15nobgQX

1강_인공지능, 머신러닝 그리고 딥러닝이란 무엇인가?

인공지능: 사람 처럼 

머신러닝

딥러닝

scikit-learn

2강_코랩과 주피터 노트북으로 손코딩 준비하기

colab 사용법 소개

3강 마켓과 머신러닝

전통적인 프로그램 : if else

4강 훈련 세트와 테스트 세트로 나누어 사용하기

훈련 세트

테스트 세트 : 모델 성능 평가

샘플링 편향을 조심해야 한다. 특정 한 class에 대해서 치우치는 경우 

지도 학습 : k-nn 

비지도 학습 : 

강화 학습 : 

5강 정교한 결과 도출을 위한 데이터 전처리 알아보기

train_test_split

표준 점수 : (특성 - 평균) / 표준편차

knn은 scale을 조절하는 것이 좋다. 특성의 scale에 예민하다.

훈련 세트의 scale된 것을 test에 적용한다.

훈련 세트를 기준으로 한다.

preprocessing

6강 회귀 문제를 이해하고 k-최근접 이웃 알고리즘으로 풀어 보기

데이터 전처리 : 표준점수 

회귀

reshape로 배열 크기 조절

R ** 2 (결정계수)= 1- ((타깃-예측)**2 의 합 / (타깃 - 평균)**2 의 합)

과대적합과 과소적합

7강 사이킷런으로 선형 회귀 모델 만들어 보기

선형회귀 : 음수가 나올 수 있다. 

다항회귀

8강 특성 공학과 규제 알아보기

다중회귀 : 

특성이 많으면 과대적합

특성 공학

다항 특성 

규제 : Lasso , Ridge

9강 로지스틱 회귀 알아보기

변환기는 train, test같은것으로 해야한다.

knn

로지스틱 회귀

10강 확률적 경사 하강법 알아보기

점진적 학습 : 모델 서비스 할때 

online: 모델 서비스 도중 

11강 로지스틱 회귀로 와인 분류하기 & 결정 트리

결정 트리 

가지치기 depth로 한다.

12강 교차 검증과 그리드 서치

검증 세트 

성능 올리기

일반화 성능

13강 트리의 앙상블

정형데이터

비정형데이터

랜덤 포레스트

bootstrap sample 동일한 샘플 중복허용

14강 흑백 이미지 분류 방법과 비지도 학습, 군집 알고리즘 이해하기

군집 알고리즘

15강 k-평균 알고리즘 작동 방식을 이해하고 비지도 학습 모델 만들기

K-means

16강 주성분 분석: 차원 축소 알고리즘 PCA 모델 만들기

PCA

17강 인공 신경망 ▶️ 간단한 인공 신경망 모델 만들기

18강 심층 신경망 ▶️인공 신경망에 층을 추가하여 심층 신경망 만들어 보기

신경망은 여러개 층 동시에 학습한다.

19강 신경망 모델 훈련 ▶️인경 신경망 모델 훈련의 모범 사례 학습하기

dropout

조기종료

20강 합성곱 신경망의 개념과 동작 원리 배우기

padding

stride

pooling

21강 합성곱 신경망을 사용한 이미지 분류

다중분류문제

22강 합성곱 신경망의 시각화

가중치 시각화

함수형 API

23강 순차 데이터와 순환 신경망

순환신경망

순차데이터

24강 순환 신경망으로 IMDB 리뷰 분류하기

25강 LSTM과 GRU 셀

GRU

LSTM