00004. 최적화 알고리즘 비교: Momentum, AdaGrad, RMSprop, Adam

딥러닝 모델을 학습할 때 가장 중요한 요소 중 하나가 최적화 알고리즘(Optimizer) 입니다. 최적화 알고리즘은 손실 함수(Loss Function)를 최소화하도록 가중치(Weights)를 조정하는 역할을 합니다. 이번 포스팅에서는 대표적인 최적화 알고리즘인 Momentum, AdaGrad, RMSprop, Adam의 차이점과 원리를 쉽게 설명해보겠습니다!

1. 경사 하강법 (Gradient Descent) 기본 개념

경사 하강법은 가중치를 업데이트할 때 기울기(Gradient) 를 이용하여 최적의 가중치를 찾아가는 방법입니다. 기본적인 경사 하강법은 아래와 같이 표현됩니다.

W = W - α * ∇L(W)

여기서,

• W: 가중치 (Weight)
• α (Learning Rate): 학습률
• ∇L(W): 손실 함수의 기울기 (Gradient)

하지만 기본 경사 하강법에는 진동(Oscillation) 문제와 수렴 속도 문제 등이 존재합니다. 이를 해결하기 위해 다양한 변형 알고리즘이 개발되었습니다.

---

2. Momentum (모멘텀)

🧐 원리

Momentum(모멘텀)은 물리학에서 차용한 개념으로, 관성의 법칙을 적용하여 기울기의 이동 방향을 부드럽게 조절하는 방식입니다. 이전 기울기의 정보를 일정 비율 유지하면서 업데이트하는 방식입니다.

📌 공식

v = β * v + (1 - β) * ∇L(W)

W = W - α * v

✅ 특징

• 진동(Oscillation) 문제 해결: 급격한 변화 없이 부드러운 업데이트 가능
• 학습 속도 증가: 수렴 속도를 높여 빠르게 최적해로 이동 가능
• β 값 (일반적으로 0.9 사용)으로 과거 기울기를 유지하는 정도 조절

🎯 비유

축구공을 언덕 아래로 굴리는 것과 비슷합니다. 처음에는 천천히 움직이지만 시간이 지나면서 가속도가 붙어 더 빠르게 굴러갑니다.

---

3. AdaGrad (Adaptive Gradient Algorithm)

🧐 원리

AdaGrad는 각 파라미터마다 학습률을 다르게 적용하여 업데이트하는 방식입니다. 기울기의 제곱을 누적하여 학습률을 점진적으로 감소시키는 방식입니다.

📌 공식

G = G + (∇L(W))²

W = W - (α / sqrt(G + ε)) * ∇L(W)

✅ 특징

• 자주 변화하는 가중치는 학습률을 줄이고, 적게 변화하는 가중치는 학습률을 크게 유지
• 학습률이 계속 감소하여 학습 후반부에 거의 멈추는 문제 발생

🎯 비유

러닝 속도를 조절하는 신발: 처음에는 빠르게 뛰지만, 점점 신발에 무거운 추가 달려 속도가 줄어듭니다.

---

4. RMSprop (Root Mean Square Propagation)

🧐 원리

AdaGrad의 문제점을 보완한 방식으로, 기울기의 제곱을 단순 누적하는 것이 아니라 지수 이동 평균(Exponential Moving Average, EMA) 을 적용하여 학습률 감소를 방지합니다.

📌 공식

G = β * G + (1 - β) * (∇L(W))²

W = W - (α / sqrt(G + ε)) * ∇L(W)

✅ 특징

• 학습률 감소 문제 해결 → 수렴 속도 개선
• 잘못된 방향으로 가는 기울기를 조정하여 최적의 가중치 탐색
• 일반적으로 β = 0.9 사용

🎯 비유

자동차의 서스펜션: 노면이 울퉁불퉁하더라도 서스펜션이 충격을 흡수하여 부드럽게 주행하도록 도와줍니다.

---

5. Adam (Adaptive Moment Estimation)

🧐 원리

Adam은 Momentum과 RMSprop을 결합한 방식입니다. 모멘텀을 이용해 기울기의 방향성을 고려하면서, RMSprop을 사용해 학습률을 동적으로 조절합니다.

📌 공식

m = β1 * m + (1 - β1) * ∇L(W) (모멘텀 효과)

v = β2 * v + (1 - β2) * (∇L(W))² (RMSprop 효과)

W = W - (α / sqrt(v + ε)) * m

✅ 특징

• 모멘텀을 사용하여 진동을 줄이고, RMSprop을 통해 학습률을 동적으로 조정
• 가장 널리 사용되는 최적화 알고리즘 (대부분 기본 Optimizer로 설정됨)
• β1 = 0.9, β2 = 0.999가 일반적인 설정값

🎯 비유

스마트 내비게이션: 과거의 운전 경로(모멘텀)를 참고하면서, 현재 도로 상태(RMSprop)도 고려하여 최적의 경로를 찾음.

---

6. 최적화 알고리즘 비교 정리

Optimizer특징장점단점

Momentum	관성 사용	진동 감소, 빠른 수렴	최적값을 지나칠 가능성 있음
AdaGrad	개별 학습률 조정	자주 업데이트되는 가중치 학습률 감소	학습 후반부에 학습 속도가 너무 느려짐
RMSprop	지수 이동 평균 적용	AdaGrad 문제 해결, 안정적 학습	최적의 β 값을 찾아야 함
Adam	Momentum + RMSprop	빠르고 안정적인 학습, 자동 조정	메모리 사용량 많음

---

7. 결론

각 최적화 알고리즘은 상황에 따라 적절히 선택하는 것이 중요합니다.

• 빠르고 안정적인 학습이 필요하면 Adam 추천 🚀
• 진동 문제를 줄이고 싶다면 Momentum 사용 ⚡
• 정확한 학습률 조정이 필요하다면 RMSprop 활용 🔄

딥러닝 모델을 학습할 때 최적의 성능을 위해 다양한 Optimizer를 실험해보는 것이 좋습니다! 💡