Привет, хабровчане!

Признаюсь, я не большой любитель vLLM, Triton Inference Server и всяких там NeMo, вместо них я предпочитаю ollama вообще и llama.cpp в частности, поскольку придерживаюсь мнения, что 1-2% потери в точности и отсутствие некоторых плюшек - не так важно, по сравнению с удобством деплоя, спекулятивным декодингом, многократным приростом скорости, динамическим оффлодом в память системы и возможностью запускать модели на любом "ведре", навроде древних зионов, андройдофонов, малинок или, скажем, макбуков.

Поэтому вполне ожидаемым для меня является, когда авторы моделей заморачиваются с конвертацией оных в GGUF - особом формате сжатия весов моделей, пригодном для запуска через упомянутые выше ollama и llama.cpp.

Однако реальность обычно немного отличается от ожиданий, и конвертацию в GGUF с последующей квантизацией приходится делать самостоятельно, а чтобы качество работы модели не падало, желательно генерировать imatrix через калибровочный датасет, о чём я и хочу рассказать в данной публикации.

The Мотивация™

Поскольку большинство вендоров (и наши соотечественники в том числе) частенько пренебрегают данным форматом, приходится брать рога за быка и конвертировать, а затем квантовать модельки в GGUF самостоятельно. Но у конвертации в данный формат с дальнейшей квантизацией "в лоб" есть один фатальный недостаток - такие квантованные модели обычно проседают в точности, так как сжатие выполняется наивно, без учёта архитектуры и знаний, заложенных при обучении модели.

Более правильным методом является квантизация модели при помощи калибровочного датасета, содержащего в себе только необходимые для нас данные, данный приём можно условно описать как "LoRA наоборот", так как мы не обучаем модель на специализированном корпусе, а наблюдаем за её поведением на близких к продуктовым задачам кейсах, затем отсекаем всё ненужное. Нечто подобное применяется в методе GPTQ, но поскольку формат GPTQ так и не обрёл популярности, о его поддержке в llama.cpp (и, как следствие, ollama) не может быть и речи.

Да и зачем он нужен, когда в llama.cpp сравнительно недавно добавили утилиту imatrix?

Вот небольшая справка от ChatGPT обогащённая контекcтом и моими советами:

Инструмент llama-imatrix в llama.cpp предназначен для вычисления и сохранения матрицы важности (importance matrix), отражающей, насколько сильно различные тензоры модели (веса слоёв) влияют на результат при обработке реального текстового корпуса, эта статистика используется при квантизации, чтобы сохранить качество модели - более "важные" параметры квантуются с меньшими потерями. llama-imatrix анализирует активации модели на заданных текстах, накапливает показатели важности для каждого тензора, сохраняет их в файл, после чего квантизатор llama-quantize может учитывать эти данные для адаптивного понижения точности весов.

Поэтому решил разобраться сам и рассказать вам, как конвертировать, а затем квантовать в GGUF на примере модельки ai-sage/GigaChat-20B-A3B-instruct, используя для калибровки датасет wikimedia/wikipedia, а точнее - первые 500 элементов сабсета 20231101.ru.

Run, GGUF, run

Для начала понадобится скачать и конвертировать модель ai-sage/GigaChat-20B-A3B-instruct в GGUF без квантизации, в формате F16. Для этого скачаем репозиторий llama.cpp, затем создадим в нём .venv, поставим пакеты и выполним сборку llama.cpp:

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
python3.12 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

Скомпилируем бинарники:

cmake -S . -B build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release

Подробнее про компиляцию llama.cpp под разные платформы, в том числе и CUDA в README проекта.

Поставим ещё пару пакетов до кучи:

pip install "datasets>=4.1" "transformers>=4.56"

Песочница готова, так что теперь можем скачать веса модели и выполнить конвертацию:

hf download ai-sage/GigaChat-20B-A3B-instruct --local-dir ./models/ai-sage/GigaChat-20B-A3B-instruct
python convert_hf_to_gguf.py models/ai-sage/GigaChat-20B-A3B-instruct

Результат будет сохранён тут:

./models/ai-sage/GigaChat-20B-A3B-instruct/GigaChat-20B-A3B-instruct-F16.gguf

Запомним и вернёмся к этому чуть позже.

Калибруй это

Зная формат данных датасета wikimedia/wikipedia и зная, как обычно тренеры моделей формируют из семплов датасета обучающие примеры (спойлер: при помощи метода apply_chat_template объекта токенизатора), создадим небольшой скриптик, обзовём его wikipedia_generator.py, положим его в папку с llama.cpp и запустим вот так:

python wikipedia_generator.py \
  --model ai-sage/GigaChat-20B-A3B-instruct \
  --subset 20231101.ru \
  --split train \
  --limit 500 \
  --output ./calib.txt

Рядом появится файлик ./calib.txt, его и будем использовать далее.

Теперь вызовем скомпилированный ранее бинарник llama-imatrix, передадим на вход путь до калибровачного датасета, созданного шагом ранее, и путь до квантованной в GGUF модели:

./build/bin/llama-imatrix \
  -m ./models/ai-sage/GigaChat-20B-A3B-instruct/GigaChat-20B-A3B-instruct-F16.gguf \
  -f ./calib.txt \
  -o ./models/ai-sage/GigaChat-20B-A3B-instruct/GigaChat-20B-A3B-instruct-F16.imatrix.gguf
  --n-gpu-layers 10

И идём читать arXiv пару часов, так как процедура обычно не быстрая.

По прошествии некоторого времени результат работы скрипта будет сохранён тут:

./models/ai-sage/GigaChat-20B-A3B-instruct/GigaChat-20B-A3B-instruct-F16.imatrix.gguf

Размером примерно 41 мегабайт, для разных моделей размер может варьироваться от 1-2 до 30-40 мегабайт, как правило у классических dense моделей размер этого файла меньше чем у MoE моделей, вероятно в силу особенностей архитектуры.

Теперь мы можем при помощи скомпилированной утилиты llama-quantize выполнить квантизацию модели до уровня q4_k_m, но не абы как, а с учётом поправок полученных на датасете wikimedia/wikipedia при помощи llama-imatrix.

Пишем команду:

./build/bin/llama-quantize \
  --imatrix ./models/ai-sage/GigaChat-20B-A3B-instruct/GigaChat-20B-A3B-instruct-F16.imatrix.gguf \
  ./models/ai-sage/GigaChat-20B-A3B-instruct/GigaChat-20B-A3B-instruct-F16.gguf \
  ./models/ai-sage/GigaChat-20B-A3B-instruct/GigaChat-20B-A3B-instruct-Q4_K_M.gguf \
  Q4_K_M

Квантованная в q4_k_m модель будет сохранена тут:

./models/ai-sage/GigaChat-20B-A3B-instruct/GigaChat-20B-A3B-instruct-Q4_K_M.gguf

Аналогичным образом будет выглядеть процедура квантизации до других уровней, только циферки меняй, полный список всех доступных уровней квантизации тут.

Добавляем в ollama

Отлично, у нас есть моделька, конвертированная в GGUF и квантованная до q4_k_m, что дальше? Дальше можно запустить её, например, через llama-server или llama-cli и попробовать повыполнять на ней запросы, а можно пойти ещё дальше и импортировать её в локальную ollama.

Для этого создадим файл Modelfile следующего содержимого:

FROM ./models/ai-sage/GigaChat-20B-A3B-instruct/GigaChat-20B-A3B-instruct-Q4_K_M.gguf

TEMPLATE """
{{- if .System }}
<s>{{ .System }}<|message_sep|>
{{- end }}
{{- range .Messages }}
    {{- if eq .Role "user" }}
{{ .Role }}<|role_sep|>{{ .Content }}<|message_sep|>
available functions<|role_sep|>[]<|message_sep|>
    {{- else if eq .Role "assistant" }}
{{ .Role }}<|role_sep|>{{ .Content }}<|message_sep|>
    {{- end }}
{{- end }}
{{- if not .Response }}assistant<|role_sep|>
{{- end }}
"""

Поле TEMPLATE обычно отличается у разных моделей.

Подробнее про создание Modelfile в документации ollama.

Далее импортируем этот Modelfile в нашу локальную ollama:

ollama create -f Modelfile GigaChat-20B-A3B-instruct:Q4_K_M

Вместо GigaChat-20B-A3B-instruct:Q4_K_M можно указать любое другое название, это проссто тег, которым ollama пометит эту модель.

Попробуем запустить модель:

ollama run GigaChat-20B-A3B-instruct:Q4_K_M

И можем пообщаться.

Про интеграцию через API рассказывать уже не буду, это и так понятно, на http://localhost:11434 ходим клиентом ollama, на http://localhost:11434/v1 клиентом openai, в поле model узказываем GigaChat-20B-A3B-instruct:Q4_K_M.

Заключение

Если коротко то история вида: конвертация в GGUF > калибровка imatrix > квантизация > запуск в llama.cpp/ollama помогает нам масштабироваться "вниз", не требуя дата-центров и дорогих GPU. Используя imatrix мы целенаправленно "подгоняем" квантизацию под свои кейсы (через калибровочный корпус), срезая лишнее, сохраняя только нужное, получаем быстрый деплой и переносимость, но при этом не теряя качество.

Надеюсь моя небольшая инструкция пригодится вам в ваших начинаниях!

Если вам интересно, как это развивать дальше, то заглядывайте ко мне в Телегу @evilfreelancer, и само собой задавайте вопросы под постом и/или в личку, буду рад пообщаться.