딥러닝 기초 - 인공 신경망 구조 (1)

머신 러닝?

 데이터를 기반으로 패턴을 학습하여 예측하는 알고리즘을 사용하는 인공지능 분야의 한 영역

딥러닝?

 다층의 인공 신경망을 사용하여 데이터를 통한 자동 학습을 수행하는 머신 러닝의 하위 분야

 

인간의 뉴런 동작과 동일한 방식으로 작동을한다. 

 

 

 

 

 

인닉층이 하나라면 뉴럴 네트워크, 여러 단계로 나눠져있다면 딥 뉴럴 네트워크라고 한다.

 

 

1. 입력층(Input Layer) 

역할

- 입력층은 신경망에 데이터를 처음 받아들이는 층. 즉, 외부의 원본 데이터를 신경망 내부로 전달하는 역할을 함 

 

특징

- 입력층의 각 뉴런은 하나의 입력 변수(특성)를 나타냄

- 입력층은 데이터를 은닉층으로 전달하지만, 자체적으로 계산을 수행하지는 않음

 

예시

- 얼굴 인식 모델레서 입력층의 뉴런들은 각 픽셀의 rgb값을 받아들이고 이를 신경망에 전달.

- 텍스트 데이터의 경우, 각 단어 또는 각 단어의 임베딩 벡터가 입력층의 뉴런에 입력

 

 

2. 인닉층(Hidden Layer) 

역할

- 은닉층은 입력층에서 전달된 데이터를 처리하여 중요한 패턴과 특징을 학습하는 중간단계

 

특징

-  입력 데이터를 가중치와 함께 계산하고, 활성화 함수를 통해 비선형 변환을 적용하여, 복잡한 패턴을 학습할 수 있게 함. 

- 은닉층이 여러 개인 신경망을 심층 신경망이라고한다, 은닉층이 많을수록 더 복잡한 문제를 학습할수있음. 

- 은닉층의 뉴런 개수와 층 수는 모델의 학습 능력과 성능에 큰 영향을 미침

 

예시

- 이미지 분류 모델에서 첫 번째 은닉층은 단순한 윤곽선이나 경계를 학습하고, 이후 은닉층들은 점점 더 복잡한 특징을 학습하게됨. 

- 텍스트 분류 모델의 경우 첫번째 은닉층에서 단어 간의 연관성을 학습하고, 다음 은닉층에서는 문장 내 맥락을 더 깊이 이해할수있음. 

 

4. 인닉층(Output Layer) 

역할

- 출력층은 신경망의 최종 예측 결과를 도출하는 층

 

특징

- 뉴런 개수는 문제 유형에 따라 결정

1. 이진 분류 : 0또는 1로 결과를 나타냄

2. 다중 클래스 분류 : 예) 개, 고양이, 새 분류

3. 회기 문제 : 예) 집값 예측

 

출력층에서의 값은 활성화 함수에 의해 변환된다. 

 

예시

- 얼굴 인식 모델에서는 출력층이 특정 인물에 대한 확률을 출력, 가장 높은 확률을 가진 인물로 얼굴을 분류

- 회귀 모델에서는 활성화 함술를 사용하지않거나, 선형 활성화 함수를 통해 특정 수치를 예측 

 

 

 

 

 

 

 

딥러닝의 성능향상

 

1.손실 함수

역할

- 모델의 예측값과 실제값 간의 차이를 측정하는 함수

- 에측의 오차를 수치화하여 모델이 학습 과정에서 목표로 삼아야하는 방향을 제시

 

목적

- 손실 함수를 통해 계산된 오차는 모델이 얼마나 잘 또는 잘못 학습하고 있는지를 평가하는 지표가됨

- 손실 함수 값이 작을수록 모델의 예측이 정확하고, 손실 값이 클수록 모델의 예측이 부정확하다는것을 의미

 

 

종류

- 평균 제곱 오차 : 주로 회귀 문제에서 사용, 예측값과 실제값의 차이를 제곱하여 평균을 활용

- 교차 엔트로피 손실 : 분류 문제에서 자주 사용되며, 예측 확률과 실제 레이블 간의 차이를 측정

 

 

 

2.오차 역전파

역할

- 출력층에서 계산된 오차를 은닉층을 거쳐 입력층 방향으로 역방향으로 전파하여 각 가중치를 조정하는 알고리즘

- 오차 역전파는 손실 함수를 줄이기 위해 신경망의 각 가중치가 얼마나 조정되어야 하는지를 결정하는 중요한 역할을 함 

 

 

목적

- 모델의 예측이 부정확할 때, 오차 역전파를 통해 각 가중치가 오차를 미치는 영향을 계산

- 이를 통해 가중치가 오차를 줄일 수 있는 방향으로 조정

 

종류

- 오차 역전파는 손실 함수에서 계산된 오차를 바탕으로 신경망의 모든 가중치에 대해 미분을 수행하여, 가중치가 출력 오차에 미치는 영향을 계산

- 이후, 가중치가 조정되어 신경망이 점차 정확한 예측을 하도록 함 

 

 

3.경사 하강법

역할 

- 경사 하강법은 손실 함수의 값이 최소가 되도록 가중치를 최적화하는 방법

- 경사 하강법은 신경망이 손실을 최소화 할 수 있도록 최적의 가중치를 찾는 데 핵심적인 역할을 함

 

목적

- 손실 함수의 값이 최소화되면 모델의 예측이 더 정확해지므로, 경사 하강법은 손실 함수의 기울기를 계산하여 손실을 줄이는 방향으로 가중치를 조정

 

작동 원리

- 손실 함수의 기울기를 따라 가중치를 업데이트하여 손실 값을 점차 줄여나감 

- 기울기 방향으로 이동함으로써, 최종적으로 손실함수의 최저점을 찾음

 

학습률

- 가중치를 얼마나 빠르게 조정할지를 결정하는 학습률이 하이퍼파라미터가 있음.

- 학습률이 너무 크면 최저점을 지나칠 수 있고, 너무 작으면 학습이 매우 느려질수있음.