NAIAHD

역전파

backpropagation

오차를 후방으로 전파하는 방식

출처 : 텐스플로 첫걸음

교차 엔트로피 에러

cross entropy error

: 평균제곱오차나 유클리드 제곱 거리 등을 널리 사용하기도합니다. 

하지만 일부, 신경망에서는 교차 엔트로피 에러같은 측정 방식을 사용하도록 권장합니다.

출처 : 텐스플로 첫걸음

소프트맥스 함수

softmax function

두가지 이상의 클래스로 데이터를 분류하고 싶을 때 

각 클래스에 대한 확률을 업게 해줍니다. 

이들 클래스의 확률의 합은 1이고 가장 높은 확률을 가진 클래스가 결과 값이 될 가능성이 가장 높습니다.

출력 내용으로 분류 결과 또는 식별 결과(라벨링한 사물의 이름)를 얻고 싶을때 

각 라벨을 모두 합한 값이 1이게 변환(정규화)해서 확률 형태로 나타낼 수 있습니다. 

출처 :

텐스플로 첫걸음

처음 배우는 인공지능

계층

layer

단일 계층 신경망 : single-layer neural network:  계층이 하나인 것

다중 계층 신경망 : multi-layer neural network : 입력을 받는 하위 계층(입력 계층 input layer), 결과 값을 내는 상위 계층(출력 계층 output layer) 등 뉴런을 여러 개의 계층으로 구성하는 것입니다. 

신경망에는 여러 개의 중간 계층(은닉 계층 hidden layer)이 있을 수도 있습니다.

출처 : 텐스플로 첫걸음

시그모이드 함수

sigmoid function

0과 1 사이의 실수를 리턴한다.

'S자 모양'

S자 모양으로 0과 1에 무한히 가까워지는 함수로서 , 인공 신경망의 뉴런에서 일어나는 선형적인 가중치 계산을 비선형적으로 변경시켜주어 더 폭넓은 문제에 적용할 수 있도록 도와줍니다.

1단계 :

/ 노드 y = 1/x을 미분한다.

2단계:

+ 노드는 상류의 값을 여과 없이 하류를 내보내는 게 다입니다.

3단계:

exp노드는 y = exp(x) 연산을 수행하며

4단계:

x노드는 순전파 때의 값을 ‘서로 바꿔’ 곱합니다.

출처:

텐서플로 첫걸음

밑바닥 부터 시작하는 딥러닝

20211002

활성화 함수

activation function:

인공지능 모델의 표현력을 높이기 위해 사용하는 함수인데 

선형 :

비선형 : (데이터의 경계를 곡선으로 분리하는 것)를 할 수 있어 복잡한 데이터들의 관계를 더 잘 띄게 만들 수 있다.

1. 시그모이드 함수 sigmoid function
2. 소프트맥스 함수 softmax function
3. ReLU 함수
4.  

출처 :

텐서플로 첫걸음

인공지능을 위한 수학

딥러닝

MNIST 데이터셋

손글씨 숫자의 흑백 이미지 데이터

이 흑백 이미지는 가로세로 비율은 그대로 유지되고 20X20 픽셀로 정규화 되어 있습니다. 

정규화 알고리즘(가장 낮은 것에 맞춰 전체 이미지 해상도를 감소)에는 앤피에일리어싱(anti-aliasing)처리가 되어, 이들 이미지에는 회색 픽셀이 들어 있음을 볼 수 있습니다. 

그 다음 이미지의 중심을 계산하여 28x28 픽셀 크기의 프레임 중앙에 위치시켰습니다. 

어떤 숫자 인지를 나타내는 레이블 정보가 함께 있습니다. 

출처 : 텐서플로 첫걸음

머신러닝

unsupervised learning

K-means algorithm

군집화 문제를 풀기 위한 자율 학습 알고리즘의 일종입니다.

이 알고리즘은 간단한 방법으로 주어진 데이터를 지정된 군집(cluster) 개수 (K)로 그룹화합니다 

한 군집 내의 데이터들은 동일한 성질을 가지며 다른 그룹과는 구별됩니다.

즉 한 군집 내의 모든 원소들은 군집 밖의 데이터보다 서로 더 닮아 있습니다.

centroid  -> k개의 점

이들은 각기 다른 그룹의 중심점을 나타내며 데이터들은 K개의 군집 중 하나에만 속할 수 있다.

한 군집 내의 모든 데이터들은 다른 어떤 중심들보다 자기 군집 중심과의 거리가 더 가깝습니다. 

초기단계 (0단계): K 개 중심의 초기 집합을 결정

할당단계 (1단계): 각 데이터를 가장 가까운 군집에 할당

업데이트 단계 (2단계) : 각 그룹에 대해 새로운 중심을 계선

20211209

k-평균 알고리즘

k-means 알고리즘

1. 우선 전체를 k개의 그룹으로 나눕니다. 

2. 각 점에 무작위로 그룹을 할당한 다음 그룹 각각의 중심(보통은 무게 중심)과의 (유클리드 거리 등)를 계산합니다. 

3. 어떤 그룹에 속해 있는 점이 다른 그룹과 거리가 더 가깝다면 해당 점을 거리가 가까운 그룹으로 변경합니다. 

4. 이러한 작업을 반복해서 가까운 점 끼리 묶어 k개의 그룹으로 나눕니다. 

20211210

중심점만 기준으로 삼다가 잘못 된 그룹으로 할당할 수 있는 문제나 계산 시간이 길어지는 등의 문제가 있습니다 

최초에 정하는 K값은 감으로 결정할 때가 많지만 계산으로 구해서 결정할 수 도 있다 .

K를 결정할 때는 혼합 디리클레 모델을 사용합니다. 

베이즈 모델 기반의 접근 방식으로 디리클레 분포가 다항분포의 결합 사전분포라는 점을 이용합니다. 

출처 :

텐서플로 첫걸음

처음 배우는 인공지능