В какой-то момент я понял, что хочу иметь свой личный ChatGPT прямо на ноутбуке — локальный, безопасный, работающий без интернета и полностью под моим контролем.

У меня обычная рабочая машина:

• Ubuntu 24.04.3 LTS (noble)

• x86_64

• AMD Radeon Vega (Cezanne)

А значит, классические CUDA-модели мне не подходят — NVIDIA нет, но я всё равно хотел нормальную LLM у себя локально.

Решение — Ollama, движок для запуска локальных LLM-моделей в один клик.
Расскажу, как я его установил, какие модели поставил и как дальше можно обучать её под свои задачи.

? Установка Ollama на Ubuntu 24.04

Установка максимально простая:

1. Скачиваем и запускаем установщик

curl -fsSL https://ollama.com/install.sh | sh

Ollama автоматически поставит:

• бинарный движок,

• серверную часть,

• менеджер моделей.

После установки сервис сам стартует:

systemctl status ollama

? Проверка системы

Посмотрим базовую информацию:

lsb_release -a
Distributor ID: Ubuntu
Description:    Ubuntu 24.04.3 LTS
Release:        24.04
Codename:       noble

Процессор:

uname -m
x86_64

Видеокарта:

lspci | grep VGA
04:00.0 VGA compatible controller: AMD/ATI Cezanne [Radeon Vega]

❗ Это важно: Ollama умеет работать с AMD GPU только через ROCm, но Vega официально не поддержана.
Значит — модель будет работать на CPU, без ускорения GPU.

Не проблема — современные модели на 3B–7B спокойно работают на CPU, если память позволяет.

? Какую модель я поставил

Я начал с небольшой, но умной модели:

ollama pull mistral:7b

Почему именно она:

• 7B параметров — хорошо работает на CPU,

• низкие требования к RAM,

• отлично пишет код (Python/JS),

• хорошо но не “перегружено” отвечает,

• быстрые ответы даже без GPU.

Также попробовал:

? Phi-3 Mini (3.8B)

ollama pull phi3

Идеальна для ноутбуков. Очень низкое потребление, быстрые ответы.

? Llama 3.1 8B

ollama pull llama3.1

Чуть тяжелее, но значительно умнее. Для аналитики и разработки — отличный выбор.

? Как запускать модель

ollama run mistral

Пример диалога:

>>> Напиши пример FastAPI сервиса

Ollama запускает модель локально, изолированно, без отправки данных наружу.

? Можно ли обучить модель под свои задачи?

Да! Ollama поддерживает дообучение (fine-tuning) и добавление собственного контекста (modelfile).

Есть 2 варианта:
1️⃣ Полноценное дообучение (сложный путь)
2️⃣ Обогащение модели своим знанием через Modelfile (быстрый путь)

? Вариант 1: Быстрое обучение через Modelfile

Ты создаёшь файл:

Modelfile

FROM mistral:7b
SYSTEM """
Ты — эксперт по Python, FastAPI, Django и тестированию.
Отвечай кратко, чётко и всегда приводи примеры кода.
"""

И запускаешь:

ollama create my-python-helper -f Modelfile

Теперь можно запускать:

ollama run my-python-helper

Это уже «твоя личная LLM», настроенная под твой стиль задач.

? Вариант 2: Настоящий Fine-Tuning (дообучение)

Ollama официально поддерживает fine-tuning для:

• Llama 3

• Mistral

• Phi-3

Процесс (упрощённо):

1. Подготовить датасет в формате:

{"prompt": "Вопрос", "response": "Ответ"}
{"prompt": "Что такое asyncio?", "response": "..." }

2. Запустить fine-tuning:

ollama create mymodel -f Modelfile --train data.jsonl

3. Дождаться, пока обучится.

4. Запуск:

ollama run mymodel

Этот метод позволяет обучить модель:

• документации своего проекта,

• структуре кода,

• стилю ответов,

• собственным API,

• внутренним правилам команды.

? Можно ли обучать на AMD Vega?

Да и нет.

• Полное GPU-обучение на Vega невозможо → ROCm не поддерживает архитектуру Cezanne.

• Но CPU-обучение работает.

• Маленькие датасеты для дообучения — реально.

• Небольшие модели (3B–4B) — обучатся нормально.

? Почему локальная LLM — это круто

• работает без интернета,

• не отправляет код и данные третьим лицам,

• не стоит ни копейки,

• можно менять как угодно,

• можно обучать под свои проекты,

• приватная среда для всех экспериментов.

Я использую Ollama как локальный «рабочий ИИ», который знает мои проекты, умеет анализировать логи, писать тесты и разбирать архитектуру.

? Итог

Я установил себе Ollama на Ubuntu 24.04 и протестировал несколько моделей. Несмотря на AMD GPU, всё работает стабильно на CPU, а небольшие модели дают отличную скорость.

Сейчас я:

• запускаю модели локально,

• использую их для разработки,

• постепенно обучаю их под свои задачи,

• экспериментирую с персональными AI-инструментами.

Если вы хотите свой ChatGPT на ноутбуке — попробуйте Ollama.
Это реальный шаг в сторону локального, приватного и кастомного ИИ.

? Если статья была полезной

Буду рад лайку и комментарию — это помогает продвигать материалы и показывает, что стоит разобрать в следующих публикациях.