NAIAHD

컴퓨터 비전

디지털 이미지를 기계가 이해할 수 있게 만드는 연구 영역을 컴퓨터 비전이라고 합니다. 

출처 : 

처음 배우는 인공지능

패턴 인식

지도 학습은 특히 이미지와 소리 같은 데이터는 데이터 속의 일정한 패턴을 추출하고 조합해 학습하기 좋습니다. 

이를 패턴 인식 프로그램이라고 하며 고전적인 머신러닝을 이용한 구축 방법과 2010년대 이후 트랜드인 딥러닝을 이용한 구축 방법이 있습니다. 

다음 문제를 해결해야 합니다 

네트워크 설계의 시행착오를 줄여야 합니다 

예상하지 않은 학습 결과가 나왔을 때 원인을 찾아야 합니다. 

-> 이 두가지는 고전적인 머신러닝을 이용하는 것보다 딥러닝을 이용하는 것이 어려운 이유라고 말할 수 있습니다. 

그러나 딥러닝의 이미지 인식은 이미 공개된 다양한 네트워크를 재사용해 전이 학습 등을 할 수 있다는 장점이 있으므로 꼭 활용해야 합니다. 

출처 : 처음 배우는 인공지능

LSTM

Long Short-Term Memory

순환 신경망은 거슬러 올라가는 단계 수가 많아지면 기울기 소실 문제 때문에 제대로 학습할 수 없습니다. 

이 문제를 개선하는 것이 LSTM입니다. 

LSTM은 신경망의 중간 계층에서의 각 유닛을 LSTM 블록이라는 메모리 유닛으로 치환한 구조입니다. 

LSTM 블록에는 입력 게이트 , 망각 게이트 출력 게이트 라는 세가지 게이트가 있으며 메모리 셀에 저장된 1단계 이전의 상태를 망각 게이트에 참조(요소곱)합니다. 

그리고 입력 게이트와 망각 게이트를 잘 여닫으면서 출력을 조정합니다. 

출처 : 처음 배우는 인공지능

완전 연결 계층

Fully Connected layer

합성곱 계층과 풀링 계층 사이을 반복해서 거친 후 마지막

출처 : 

처음 배우는 인공지능

스파스 코딩

" 뇌 안에는 뉴런 소수가 반응해 복잡한 표현을 나타내는 기구가 있는 것이 아닐ㄲ?"

기구를 스파스 코딩이라고 말합니다. 

스파스 sparse

수학에서는 벡터나 행렬의 많은 원소가 0일때 이를 스파스 하다고 합니다. 

스파스 구조의 데이터 분석은 "많은 요소 중 0이 아닌 요소가 어는 것인지"라는 조합과 값을 찾아낼 필요가 있습니다.

따라서 계산량 매우 많은 NP-난해 NP-hardness문제라고 합니다. 

이러한 구조에서 데이터의 특징을 나타낼 수 있다면 특징 추출과 데이터 압축에 효율적입니다. 

출처 : 처음 배우는 인공지능

오토인코더

전파형 네트워크의 하나입니다. 

입력 데이터 1을 통해 얻은 출력 데이터 1을 다시 입력 데이터 2로 설정합니다. 

입력 데이터 2에서 얻은 출력 데이터 2를 이력데이터 1과 비교합니다. 

출력 데이터 2와 입력 데이터 1이 서로 더 가까운 상태가 되는 특징을 얻습니다. 

얻은 특징을 통해 더 나은 데이터를 얻습니다 

지도 데이터가 없는 자율학습입니다. 

네트워크 형태로는 제한 볼츠만 머신과 비슷하며 선행 학습에 이용합니다. 

중간 계층의 유닛수는 입력 계층보다 적어야 합니다. 

출처 : 처음 배우는 인공지능

심층 신뢰 신경망

Deep Belief Network:

2006년 힌튼 교수 등은 제한 볼츠만 머신을 이용한 다층화를 고안한 심층 신뢰 신경망을 제안했습니다. 

심층 신뢰 신경망은 제한 볼츠만 머신을 이용한 축적만으로는 단순한 자율 학습입니다. 

하지만 최상위 계층으로 소프트 맥스 계층을 추가해 지도 학습 데이터와 연계하고 하층의 전체 네트워크에 역전파하도록 되어 있다는 특징이 있습니다 

이러한 조정으로 지도학습을 할 수 있습니다. 

출처 : 처음 배우는 인공지능

선행 학습

pre-training:

다층 네트워크는 기울기 소실 문제가 발생해 학습이 제대로 되지 않을 때가 있습니다. 

계층을 깊게 할 수록 그 경향이 더 두드러집니다. 

가중치 매개변수의 초깃값을 무작위로 결정하는 것도 원인 중 하나입니다. 

이를 해결하는 방법으로 선행학습이 있습니다. 

선행 학습은 다층 네트워크를 입력 받은 순서대로 제한 볼츠만 머신 같은 두 계층의 네트워크로 분리(오토인코드로 설정)합니다. 

출처 : 처음 배우는 인공지능