28.10.2025 13:33
Nikta3 6 1100 Источник

Пошаговый разбор с метафорами, формулами и лайфхаками, которые спасут ваш fit()

Привет, хабровчане! В мире ML градиентный спуск это двигатель внутреннего сгорания: он везде, он работает, но мало кто заглядывает под капот, а ведь именно он превращает случайные веса в модель, которая угадывает котиков, переводит тексты и генерирует картинки.

Вы запускаете model.fit() - и через 100 эпох у вас есть результат, но как именно нейросеть «находит выход» из хаоса параметров? Почему иногда она перепрыгивает минимум, а иногда зависает в тупике? И как настроить learning_rate, чтобы не ждать до пенсии?

Полный разбор с нуля, с формулами и примерами. Давайте разберём по полочкам, чтобы было понятно даже новичку.

Почему градиентный спуск — это круто, но проблемно в реальности?

Представьте, что вы слепой в огромном лабиринте.

Стены — это функция потерь L(θ)L(θ)

Высота стен — это ошибка модели

Ваша цель — найти самый низкий проход (глобальный минимум)

Но вы ничего не видите. Что делать?

Интуиция:

  1. Провести рукой по стене

  2. Найти самый низкий участок

  3. Сделать маленький шаг туда

  4. Повторить

Поздравляю! Вы только что изобрели градиентный спуск!

В ML мы делаем то же самое:

Позиция — это параметры модели θθ

Низкий участок стены — это антиградиент −∇L−∇L

Шаг — это learning rate αα

Градиентный спуск: иерархия, интуиция и формула — рецепт успеха

1. Градиент — это «направление самой высокой стены»

Если ∇L>0∇L>0 → стена высокая → идём вниз

Если <0<0 → идём в ту же сторону

→ Двигаемся к самому низкому проходу!

2. Формула — сердце всего ML

θt+1=θt−α⋅∇L(θt)θt+1​=θt​−α⋅∇L(θt​)​

θtθt​ — текущее положение в лабиринте

αα — длина шага (learning rate)

Каждый шаг — это движение к выходу

Это принцип поиска.

3. Learning rate - это искусство

αα

Что будет

0.000001

Ползёшь как черепаха

1.0

Бежишь → врезаешься в стену

0.001

Золотая середина (обычно)

Лайфхак:

Начни с 0.001

Если ошибка скачет — уменьшай в 3–10 раз

Если застрял — используй адаптивные методы

Проблемы градиентного спуска: тупики, ложные проходы и обвалы

Проблема

Что это

Как бороться

Локальный тупик

Застреваем в «нише»

Добавить инерцию (momentum)

Ложный проход

Градиент ≈ 0, но не выход

Добавить шум или использовать Adam

Обвал стены

Ошибка → бесконечность

Обрезать градиенты

Длинный коридор

Ошибка не падает

Понижать lr со временем

Оптимизаторы: какой выбрать?

Оптимизатор

Когда юзать

SGD + Momentum

Классика, стабильность

Adam

По умолчанию в 95% случаев

AdamW

Для трансформеров

Lion

Новинка, экономит память

Совет: начни с Adam → если модель большаяб переходи на AdamW

Эксперименты: как это работает на практике

Пример: линейная регрессия (площадь → цена дома)

  1. Начинаем с случайной траектории

  2. Ощупываем стены (считаем MSE)

  3. Ищем самый низкий проход

  4. Двигаемся вниз по стене

  5. Повторяем → находим выход (оптимальные параметры)

Именно так работает обучение любой нейросети - от линейной регрессии до Stable Diffusion.

Почему это вирусно и важно для реального мира?

Применения: от sklearn до Llama 3 - везде градиентный спуск

Будущее: новые оптимизаторы (Lion, Sophia), LoRA + градиент, квантование + спуск

Для разработчиков: понимание градиента = контроль над обучением. Без него - шаманство с lr

Градиентный спуск э то шаг к демократизации ML: учим модели на слабых GPU, без облачных монстров. Если вы в ML - must-read.

Но подождите... а почему не BFGS? Он же умнее!

Да, вы правы - в классической оптимизации BFGS/L-BFGS быстрее. Но в DL - масштаб побеждает ум.

Метод

Плюсы

Минусы

Когда юзать

Градиентный спуск (SGD/Adam)

Лёгкий, масштабируемый, работает с батчами, устойчив к шуму

Медленный, может застрять

Deep Learning (1M+ параметров)

BFGS / L-BFGS

Быстрая сходимость (квадратичная), точные шаги

Требует O(n²) памяти, не любит шум

Маленькие задачи (<10k параметров)

Гибрид (LoRA + L-BFGS):

LoRA сжимает задачу → n мало

L-BFGS влезает в память и быстро сходится

Лучшее из двух миров

Вывод:

В DL масштаб побеждает ум, но с LoRA можно включить и ум, и получить +качество при −ресурсы.

Комментарии (6)


  1. Flokis_guy
    28.10.2025 14:12
    #29029074

    resp = client.chat.completions.create(
    model="gpt-5",  
    messages=[
        {"role": "user", "content": "Можно было бы и получше написать."}
    ],
)


    1. Nikta3 Автор
      28.10.2025 14:12
      #29031510

      вы правы- всегда можно лучше


  1. Gay_Lussak
    28.10.2025 14:12
    #29030412

    Как раз градиентный спуск один из самых "не крутых" методов нелинейной оптимизации. А ведь в статье можно было рассказать, почему обучают медленным спуском вместо к примеру BFGS.


    1. Nikta3 Автор
      28.10.2025 14:12
      #29031508

      Спасибо за комментарий! Да, BFGS действительно быстрее на маленьких задачах, тк он видит кривизну и прыгает прямо к минимуму, но в нейросетях с миллиардами параметров BFGS требует огромной памяти, а градиентный спуск (и особенно SGD) лёгкий, работает по кусочкам, шум от батчей помогает выбраться из мелких ямок, оэтому побеждает простота и масштаб, а не умность BFGS, но в гибридных подходах ( LoRA + L-BFGS) уже экспериментируют


      1. Gay_Lussak
        28.10.2025 14:12
        #29032534

        А почему вы не написали про это в статье? Тогда сразу был бы виден trade off.


        1. Nikta3 Автор
          28.10.2025 14:12
          #29032568

          Добавили это в статью с таблицей и примером. Спасибо за толковый фидбек!