NAIAHD

학습률

학습 속도

learning rate

각 반복 때마다 얼마나 크게 이동할 것인가를 제어합니다.

학습률을 너무 크게 하면 최솟값을 지나쳐 버릴 수 있습니다. 

학습률을 너무 작게 하면 최솟값에 다다르는 데 많은 반복이 필요하게 됩니다.

적절한 학습률을 찾아야 한다.

출처 : 텐서플로 첫걸음

경사하강법

gradient descent

함수 값을 최소화하는 최적화 알고리즘

이론적으로 말해 경사 하강법은 일련의 매개변수로 된 함수가 주어지면 초기 시작점에서 함수의 값이 최소화되는 방향으로 매개변수를 변경하는 것을 반복적으로 최적화를 수행합니다. 

함수의 기울기를 음의 방향쪽으로 진행하면서 반복적으로 최적화를 수행합니다.

보통 양의 값을 만들기 위해 거리 값을 제곱하며 , 기울기를 계산해야 하므로 오차함수는 미분 가능해야 합니다.

출처 : 텐서플로 첫걸음

20211111

평균제곱오차 mean square error

평균제곱오차는 실제 값과 알고리즘이 반복마다 추정한 값 사이의 거리를 오차로 하는 값의 평균입니다.

회귀분석에서 함수에 피팅할 때는 잔차가 최소화되도록 함수를 조정합니다. 

이때 가장 일반적으로 사용하는 방법은 최소제곱법입니다. 

잔차 제곱의 합

최소제곱법도 단순회귀에서 소개한 연립 편미분 방정식을 만들어 답을 구할 수 있다. 

하지만 독립 변수가 늘고 비선형 함수 모델을 사용하면 대응 correspondence관계가 복잡해집니다.

로지스틱 회귀에서 최소제곱법을 이용해 회귀 식을 구하는 방법을 소개하였습니다. 

하지만 최소제곱법은 특잇값 singular value에 취약하다는 약점이 있습니다. 

데이터에 특잇값이 포함되면 회귀 식이 특잇값 때문에 예측 결과가 외곡되는 현상이 일어나 앞으로 수집할 데이터를 예측할 때 정확성을 잃습니다. 따라서 특잇값에 페널티를 부여하거나 아예 제외하는 방법 등으로 수정해야 합니다.

출처 :

1. 텐서플로 첫걸음

2. 처음 배우는 인공지능

비용함수 :

cost function ,  오차함수 , error function

반복이 일어날 때 마다 개선되고 있는지 확인하기 위해 얼마나 좋은(나쁜) 직선인즈를 측정하는 것

선형회귀 : 평균제곱오차 

출처 : 텐서플로 첫걸음

•Tensorflow serving

•2016년 2월 구글에서는 텐서플로의 머신 러닝 모델을 운영(production) 환경으로 배포하는 것을 도와주는 텐서플로 서빙을 론챙했습니다. (심지어 다른 패키지의 모델로도 확장할 수 있습니다.

•출처 : 텐서플로 첫걸음

20210923

CNN 또는 ConvNet

•이미지 안의 물체를 인식하거나 이미지의 장면을 글로 요약하는 데는 합성곱 신경망(CNN)구조가 많이 사용됩니다.

•한 예로 스탠퍼드 대학교의 비전 랩에서는 2015년 말 이미지의 장면을 글로 요약해주는 덴스캡(DenseCap)을 개발해 공개했습니다.

•2015년 구글은 딥드림(DeepDream)이라는 합성곱 신경ㅇ망 구조를 선보였습니다.

딥러닝의 특별한 케이스이며 컴퓨터 비전 분야에 아주 커다란 영향을 주어왔습니다.

cnn의 전형적인 특징은 거의 항상 입력 데이터로 이미지를 받는다는 점입니다 . 

덕분에 신경망을 효율적으로 구현할 수 있고 필요한 매개변수의 수를 줄일 수 있습니다. 

주요 목적: 테두리, 선, 색 등 이미지의 시각적 특징 characteristic 이나 특성 feature을 감지하는 것입니다. 

입력 계층과 연결된 은닉계층에 의해 처리됩니다. 

CNN은 재미있게도 입력 데이터가 첫 번쨰 은닉 계층의 뉴런에 완전 연결되어 FULLY CONNECTED 있지는 않습니다.

이미지의 픽셀 정보를 저장하는 입력 뉴런의 작은 일 부 영역만이 첫 번째 은닉 계층의 한 뉴런과 연결돕니다.

20210928

합성곱 계층

convolutional layer

특징맵들이 모여 있는 것

20200105

합성곱  Convolution 

합성곱 신경망의 C는 합성곱 을 의미합니다.

2개의 함수 중 하나를 평행 이동시키면서 합성곱을 취한 적분 값을 계산합니다. 

다양한 기능을 포함한 이미지 편집 소프트웨어는 행렬에 따라서 매개변수를 지정해 화소 값을 편집(합성곱 필터 적용)합니다. 

합성곱 신경망의 구성:

특징맵

완전 연결 계층

출력층

패팅 등 

출처 :

텐서플로 첫걸음

처음 배우는 인공지능

•DNN

•입력 계층과 출력 계층 사이에 하나 이상의 계층이 끼어 있을 때는 이를 은닉 계층이라고 부르며, 이 구조를 심층 신경망이라고 부릅니다.

•하지만 요즘엔 거의 모든 신경망에 하나 이상의 은닉 계층이 있기 때문에 신경망과 심층 신경망을 특별히 구분하지 않고 혼용하여 사용합니다.

20220101

유닛 수와 계층 수가 3자리 이상이 되도록 다층 구조를 취하는 신경망 

출처 : 텐서플로 첫걸음

처음 배우는 인공지능

•추론

•Inference

•모델 학습이 완료 되면 샘플 데이터가 아닌 실제 상황의 데이터를 넣어 결과를 얻어내며 ,이를 추론이라고 합니다.

•출처 : 텐서플로 첫걸음