Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA
Публикации с тегом квантизация
Квантизация с нуля: как запустить 160ГБ LLM на ноутбуке и не потерять в качестве +23
GGUF: квантизация с калибровкой (imatrix) +9
Обучение и fine-tuning моделей простым языком: зачем, как, где +26
OpenAI o1 — LLM, обученная выполнять сложные логические рассуждения +3
Малые числа, большие возможности: как плавающая запятая ускоряет ИИ и технологии +9
LLMops: что есть, кроме ChatGPT и как это развернуть
Оптимизация нейронки в Tensorflow?
Quantization Deep Dive, или Введение в современную квантизацию +52
Квантизация изображений +37
