[Book] 파이썬 딥러닝 파이토치 PART 2 : AI Background (2)
본문 바로가기
AI/ML&DL

[Book] 파이썬 딥러닝 파이토치 PART 2 : AI Background (2)

2022. 8. 19.

1. Perceptron (퍼셉트론)

  PerceptronFeed-Forward Network(순방향 신경망, 한 방향으로만 전달) 모형의 가장 기본적인 형태로, Linear Classifier(선형 분류) 모형을 띤다. Input과 Weight의 선형 결합 값에 activation function(활성화 함수, 여기서 특정 threshold의 초과 여부를 판단하는 함수로 가장 기본적인 Step function 사용)을 통해 출력 값이 0보다 크면 1, 작으면 -1을 출력한다. (Binary Classification)

- weight를 랜덤하게 설정

- model의 error와 weight 개선

- 위의 learning rule에 따라 wieght를 업데이트함  (올바르게 분류할 때까지 반복)

AND / OR / XOR

  Perceptron은 Linear Claissifer이므로, 선형 분류 문제만 풀 수 있고, 비선형 분류 문제는 풀 수 없다는 단점이 있다. AND / OR 문제는 linear seperable (선형 분리) 가능했지만, XOR 문제는 not linear seperable라 문제를 해결하려면, 직선이 아닌 비선형 곡선을 그리거나 직선을 2개 그려야 한다. 

2. MLP (Multiple Layer Perceptron; 다층 신경망)

  Input Layer와 Output Layer만으로 구성된 단층 Perceptron에 Hidden Layer를 추가한 것이 MLP이다. 

(단층 Perceptron = Input Layer + Output Layer, MLP = Input Layer + Hidden Layer + Output Layer)

 Hidden Layer는 여러 Perceptron의 조합, 재조합으로 복잡한 비선형적인 모형을 만들어낸다. 

1) Feed Forward : Input -> Hidden -> Ouput까지 거치면서 예측값 계산하는 과정

2) Back Propagation : Feed Foward를 통해 계산된 error를 바탕으로 뒤의 Weight부터 업데이트한다 (error를 뒤에서부터 전파한다) -> Weight를 업데이트하면서 실제 값에 가까워지면서 학습

Epoch : 전체 데이터셋 반복 (10 Epoch이면, 전체 데이터셋에 대해 10번의 Feed Foward와 Back Propagation을 수행했다는 의미)

3) Activation Function : 기본적으로 비선형 활성화 함수 사용 Why? 선형 사용하면 layer 쌓을 수 X

f(x) = W(x)라고 하고, 3층 쌓으면 y(x) = f(f(f(x)))인데, 이는 즉 W X W X W X x 이므로, 다시 W X W X W를 k라고 하면 k(x)로 1층 쌓은 것과 동일 

4) Sigmoid Function : 0 ~ 1 사이로 Scaling, Vanishing Gradeint 문제 심함

5) Gradient Descent : 초기 Weight 설정 중요 ( Normal Distribution, Uniform Distribution에서 난수를 추출해 초기 Weight를 설정하는 방법 있음) 

6) Optimizer

7) Learning rate : gradient 크기 조절, 기본적으로 0.01

8) Universal Approximation Theorem

9) Gradeint Vanishing : Hidden Layer가 깊어질수록 미분값을 뒤의 error값에 계속 곱하게 되는데, sigmoid function을 예로 들면 미분값의 최대가 0.25이다. 이처럼 작은 값을 계속 곱하면 거의 0에 수렴하게 된다. 즉, Layer가 깊어질수록 Weight의 Gradient는 큰 변화가 없어지고, Weight 변화도거의 일어나지 않는다. 

10) Performance Measurement

  • MSE : Regreesion Model에 많이 사용되는 loss이자 performance measurement
  • MAPE (Mean Absolute Percentage Error) 
  • Accuracy, Precision, Recall, Specificity : Classification에서 기본적으로 사용하는 지표는 Accuracy
    Class Imbalanced Problem
  • F1- Score : Precision과 Recall의 조화평균

 

댓글