Torch.optim.optimizer

lastmod 2026-11-10created 2024-05-103 edits

torch.optim.Optimizer는 PyTorch에서 모든 최적화 알고리즘의 기반이 되는 클래스다. 모델 파라미터와 학습률 같은 하이퍼파라미터를 받아 step()으로 기울기 방향으로 파라미터를 갱신하고 zero_grad()로 누적된 기울기를 초기화한다. SGD, Momentum, AdaGrad, RMSProp, Adam 등은 이 클래스를 상속해 갱신 규칙만 달리 구현한 것이다. 이 문서는 각 옵티마이저의 특성과 수렴 과정을 비교한 자료를 모은다.

Categories

• 딥러닝) optimizer ( SGD , Momentum , AdaGrad , RMSProp, Adam )

SGD vs Momentum vs AdaGrad vs Adam

• 딥러닝) optimizer ( SGD , Momentum , AdaGrad , RMSProp, Adam )

See also

• PyTorch

Favorite site

• 딥러닝) optimizer ( SGD , Momentum , AdaGrad , RMSProp, Adam )