Методы оптимизации

Лекция: Задача оптимизации. SGD, Momentum, NAG, Adagrad, Adadelta, Adam. (Слайды, Видео)
Семинар: Реализация рассмотренных методов и их сравнение. (Задание)