[혼공 머신] 혼자 공부하는 머신러닝 정리하기 - Chapter 07-2, 07-3

심층 신경망 (DNN, Deep Neural Network)

input layer, hidden layer, output layer에서 activation function는 hidden layer에 붙어있다.

activation function는 NN layer에 선형 방정식 값을 계산하는데 쓰이는 함수입니다. 예를 들어, 이진분류에는 시그모이드

혹은 소프트 맥스, ReLU를 사용할 수 도 있는 것입니다.

 

hidden layer에만 activation function를 적용하는 이유

분류 문제는 클래스에 대한 확률을 출력하기위해 활성화 함수를 사용한다. 회귀는 어떠한 숫자라서 활성화 함수가 필요없다. 전 출력층의 방정식 값을 그대로 사용한다. = 선형계산을 적당하게 비선형으로 틀어주기위해

 

Sequencial(dense1, dense2) 형태로 NN을 사용한다.

 

ReLU 함수

이미지 분류 모델에서 많이 사용하는 함수 (요즘에는 Leakly ReLU가 좋다던데) 시그모이드의 층이많을 때 일어나는 단점을 간단한 계산으로 극복한다

0보다 작으면 다 0으로 0보다 크면 그대로 판단한다 

 

Optimizer

가중치와 절편을 학습하기 위한 알고리즘이다.

대표적인 Gradient Descent Algorithm으로는 SGD, Adam 등이 있습니다.

 

확인문제

1. 2

2. 2

3. 3

4. 1

 

 

신경망 모델 훈련 

Drop Out

hidden layer에 있는 뉴런의 출력을 랜덤하게 껴서 오버피팅을 막는 기법. 훈련 중에 적용되고 평가나 예측에는 사용 안됨.

 

콜백

최상의 모델을 자동 저장해주는 케라스의 기능.

검증 점수가 더 이상 향상 되지 않으면 조기종료 가능

 

조기종료

검증 점수가 더 이상 감소하지 않고 상승하여 오버피팅이 일어나면 훈련을 멈추고 종료한다. 계산 비용, 시간절약 가능

 

확인 문제

1. 4

2. 2

3. 3

4. 2

혼공머신_챕터_07_2,_3.ipynb

0.28MB