NAIAHD

의사 결정 트리

Decision Tree

규칙을 바탕으로 그린 순서도로 구축한 이진 트리를 의사 결정 트리라고도 합니다. 

출처 : 처음 배우는 인공지능

규칙 기반 모델

데이터 조건 분기를 적용하는

규칙 기반 모델은 설정한 규칙에 맞게 입력 데이터를 자동으로 분석하는 추론 엔진이나 규칙 설정을 외부 저장 장치 등에 쌓는 지식 기반 모델에 이용합니다. 

조건 분기 : IF-THEN으로 조건 분기를 표현한다. 

규칙 기반 시스템: 

규칙(조건 설정)을 사용해 조건 분기 프로그램을 실행하는 시스템을 규칙 기반 시스템이라고 합니다.

출처 : 처음 배우는 인공지능

ILSVRC

IMAGENET Large Scale Visual Recognition Challenge 

IMAGENET Large Scale Visual Recognition Challenge 2012

출처 : 처음 배우는 인공지능 

혼잡도

perplexity

학습의 결과는 언어 모델링에서 자주 사용하는 혼잡도를 계산하여 평가합니다. 

혼잡도는 배치 반복 안에서 누적된 오차 값을 진행된 num_steps를 합한 값으로 나눈 것입니다. 

출처 : 텐스플로 첫걸음

LSTM

기본적인 순환 신경망은 단기기억 short-term memory을 저장할 수 있다고 표현합니다. 

멀리 떨어진 데이터 간의 연관 정보는 파악하기 어렵습니다. 

long short-term memory

단 기억을 더 길게 유지시켜주는 이 알고리즘은 기본 순환 신경망 알고리즘의 효과를 크게 향상시켜주므로 여러 분야에 걸쳐 널리 사용되고 있습니다. 

삭제 게이트 forget gate

입력 게이트 input gate 

20211009

오버피팅 문제 : 

lstm 순환 신경망에 대해 한 가지 더 살펴볼 것은 오버피팅을 막기 위한 드롭아웃 기법을 사용하는 방법에 대한 것입니다.

드롭아웃은 앞서 보았던 합성곱 신경망을 포함하여 일반적인 feedforward 신경망에서 모델이 학습 데이터에 과다하게 치중되어 만들어지는 것을 막아주는 좋은 방법입니다. 

하지만 순환 신경망 알고리즘에는 드롭아웃을 적용하여 효과를 보기가 어렵습니다. 

최근에 순환 신경망에 드롭아웃을 적용하는 방법이 새롭게 고안됬습니다. 

이 방법은 순환 신경망의 출력 값의 흐름 중 수직 방향에 대해서만 드롭아웃을 적용하는 것입니다. 

즉 순환되는 데이터에는 드롭아웃을 적용하여 효과를 보기가 어렵습니다.

최근에는 순환 방향으로도 정보를 누락하지 않으면서 드롭아웃을 적용하는 연구가 발표되는 등 다양한 방법으로 오버피팅을 막기 위한 방법이 시도되고 있다. 

출처 : 텐서플로 첫걸음

20211008

순환신경망

RNN

Recurrent neural network

보통의 신경망 알고리즘으로는 데이터의 맥락을 학습시킬 수 없습니다. 

그래서 이런 단점을 해결하고자 Recurrent neural network알고리즘이 개발되였다.

순환한다는 의미는 신경망의 뉴런에서 나온 정보가 다시 재사용되도록 순환되기 때문입니다 

어떤 시간 t의 뉴런에는 그 이전 시간 t-1 에 생성된 뉴런의 상태가 주입되어 새로운 상태가 만들어지고 , 그 데이터는 다시 이후 시간 (t+1) 에 입력되는 구조입니다. 

순환 신경망에서는 종종 이런 뉴런을 메모리 셀 memory cell 혹은 셀 cell이라고 부릅니다. 

셀에서 만들어지는 상태 데이터는 보통 은닉상태 hidden state라고 부릅니다.

기본적인 순환 신경망은 단기기억 short-term memory을 저장할 수 있다고 표현합니다. 

멀리 떨어진 데이터 간의 연관 정보는 파악하기 어렵습니다. 

220106

순환 신경망은 몇 단계 전으로 거슬러 올라가 데이터를 반영할 수 있는 신경망입니다. 

시계열 데이터 등의 맥락을 고려해 학습할 수 있으므로 음성 같은 파형 데이터 나 자연어 등의 학습에 이용합니다. 

순환 신경망은 합성곱 신경망과 달리 가중치에 대응하는 선형 원소가 두 종류(가중치 W와 변환 경로 H)존재합니다. 

중간 계층이 반환 경로 H를 통해 반복적으로 걸려 있는 것이 순환 신경망의 특징입니다. 

순환 신경망의 학습은 확률적 경사 항강법을 이용하며 실시간 순환 학습 Real-Time Recurrent Learning RTRL이나 시간 기반 오차역전파 BackPrppagation Through Time BPTT로 가중치를 업데이트합니다. 

시간 기반 오차역전파는 단계 수를 거슬러 올라가며 업데이트 할 수 있습니다. 

그러나 너무 먼 단계를 거슬러 올라가면 기울기 소실 문제가 발생해 학습이 어려워집니다. 

출처 :

텐서플로 첫걸음

처음 배우는 인공지능

Adam 최적화 알고리즘

경사하강법 최적화 알고리즘

출처 : 텐서플로 첫걸음

20211110

오버피팅

overfitting

드롭아웃은 모델이 데이터에 오버피팅되는 것을 막아줍니다.

이미 주어진 데이터가 대상일 때는 예측에 근접하는 결과를 얻을 수 있자만 앞으로 수집할 데이터가 대상이라면 ㄴ크게 벗어난 결과가 나올 가능성이 크다 .=> 과적합 overfitting

출처 :

1. 텐서플로 첫걸음

2. 처음 부터 배우는 인공지능