딥러닝-2

학습 추가 진행

train_data, test_Data로 나누어서 하기

 

model.fit()의 batch_size

batch_size는 GPU와 관련된 옵션이다.

한번에 GPU에 보내는 데이터의 수이다.

 

batch_size가 1일 경우 1개를 보내고, 1개의 결과를 받고, 1번 웨이트를 업데이트 한다.

batch_size가 10일 경우 10개를 보내고, 10개의 결과를 한 번에 받고, 1번 웨이트를 업데이트 한다.

batch_size를 키우면, 시간은 줄어들지만 학습이 빠르게 진행되지 않는다.

 

 

batch_size를 키우면, 시간은 줄어들지만 학습이 빠르게 진행되지 않는다.

 

loss가 떨어지는 추세라면 조금 더 학습해도

학습의 진행 판단 여부는 loss 추세를 보고 결정

test loss 그래프 기울기가 양으로 바뀔 시 overfitting 이므로 더 학습을 진행하면 안 됨

hooking : test loss가 어느 정도 발생하는지 스스로 추세 파악, overfitting이 발생할 시 스스로 멈춤

 

model fit

history = model.fit(X_train, y_train, epochs=1000, verbose=1, batch_size=20, validation_data=(X_test, y_test))

# 모델 핏 안에 들어가는 옵션, 핏하면서 validation은 test_x, test_y 데이터로

# (좌측은 train data, 우측은 test data)

따로 validation 데이터를 주지 않고, test 데이터로 준 것의 일부를 validation에 사용.

validation에 사용된 데이터는 학습에 사용되지 않는다.

history = model.fit(X_train, y_train, epochs=1000, verbose=0, batch_size=20, validation_split=0.1)

 

 

epoch가 적어도 데이터 수가 많으면 학습 잘된다.

epoch 수보다 데이터 수 많은 것이 더 중요

데이터 수가 적으면 overfitting 발생 가능성 (overfitting이 빨리 오면 성능이 안 좋음 - 학습은 되나 원하는 성능을 못 얻을 것)

->> 데이터 확보의 중요성

 

학습 시에 데이터를 섞어 주지 않으면 특정 데이터 순서로 학습이 일어나 편향이 생길 수있다.

shuffle=True

 

Normalization/Standardization

입력이 여러 차원일 때 각 차원의 입력을 동일한 스케일로 맞추어주면, 학습이 빠르게 진행된다고 한다.

·       Normalization : 전체 데이터를 0~1로 변환해준다.

·       Standardization : 평균을 0, 표준편차를 1이되도록 변환해 준다.

·       반드시 해야 할 것 : noramlization, 결측치 처리, outlier 처리

·       수렴 속도 차이 발생

Normalization - 데이터  정규화 한다.

 

 

Overfitting 처리

(오버피팅 완화)

• DropOut
• BatchNormalization
• Regularization

model.add(BatchNormalization()) 

 

 

Regression, 회귀

·       임의의 값 출력하도록.

 

classification, 분류

 

normolization을 하는게 좋다. 하지만 정확하게 하는 것이 좋다.

학습이 되며 0~1로 normalization했을 때 보다 살짝 빠르다

 

딥러닝 장단점

•        장점 : 대상 함수의 내부를 몰라도 된다.

•        단점 : 비싸다

많은 데이터, 많은 연산량

 

ML과 DL의 선택

•        기존의 방법으로 이미 풀린 문제는 ML

•        기존의 방법으로 못풀었는데 데이터가 있으면 DL

바둑, 얼굴인식, 물체인식, 음성인식, 번역

 

딥러닝의 큰 단점

•        입출력 데이터 쌍을 구하기 어렵다.

•        특히 출력 데이터. 레이블링 데이터(labeling data)

 

Cost Function 종류

•        MSE(Mean Squared Error)

•        CE(Cross Entropy)

•        KL-Divergence

•        MLE(Maximum Likelihood Estimation)

 

Optimizer 종류

•        오차에 대하여 w를 업데이트 시키는 알고리즘들.

•        GD(Gradient Descent)

•        Batch GD

•        Mini-Batch GD

•        SGD(Stochastic GD)

•        Momentum

•        AdaGrad

•        AdaDelta

•        Adam

•        RMSprop

 

Overfitting 방지법 종류

•        DropOut

•        BN(Batch Normalization)

•        Regularization

•        Data Augmentation

 

 

학습율

가중치가 변경되는 정도

 

 

SoftMax

•        activation function중의 하나.

•        최종 출력층에 사용되며, 여러개의 출력 노드의 합 중에 비중의 값으로 나타낸다.

 

Gradient Descent

•        함수가 학습될 바를 정의한 비용함수의 값이 최소로 하기 위해 가중치를 업데이트 하기 위한 알고리즘

 

BackPropagation 역전파

•        출력된 값과 원하는 값과의 차이를 가지고 그 전의 w 값들을 변경하는 알고리즘.

•        뒤에서부터 그 오차의 값이 전파된다는 이름.

•        실제 변경되는 값의 크기는 GD로 결정됨.