Текст ниже — очень длиннопост о том, как работает ChatGPT и другие GPT подобные модели

Прелюдия 1

Это длиннопост, после которого, я надеюсь, у вас сформируется устойчивый фундамент в принципе работы нейросетей типа Больших Языковых Моделей

Прелюдия 2

Я приложил не мало усилий, чтобы написать эту статью очень простым языком и с картинками. Но уверен, что и для технических людей тут будет много интересного

Прелюдия 3

Если вы считаете, что я где то ошибся или хотите уточнить детали, то можете оставлять комменты. Все прочитаю и поправлю

И еще два моих убеждения о том, почему важно понимать принцип работы нейросетей

Непонятная технология воспринимается как магия

Люди любят наделять неживое свойствами живого

LLM сочетают в себе эти два свойства: они достаточно сложны в устройстве и естественны в общении. Это сочетание снижает критичность восприятия — люди могут воспринимать ChatGPT и подобные интерфейсы как разумных существ, что приводит к переоценке их возможностей, повышенной внушаемости и определенным психологическим рискам — эмоциональной зависимости или мании величия от «особых отношений» с ИИ

⤵️⤵️⤵️

А теперь начнем с основного

Что такое ChatGPT на самом деле?

Когда вы общаетесь с ChatGPT, вы взаимодействуете не с мыслящим искусственным интеллектом, а со статистической моделью

Модель же, в нашем случае — это математический механизм, который учится на текстах, чтобы предсказывать наиболее вероятные продолжения новых текстов.

Эта модель обучена предсказывать наиболее вероятный ответ на основе огромного объёма данных, размеченных людьми по специальным инструкциям от компаний вроде OpenAI, которые и создают ChatGPT

Модели по типу ChatGPT лишь имитирует человеческое мышление
Модель анализирует закономерности в текстах и генерирует ответы, которые максимально напоминают то, как ответил бы человек-разметчик в аналогичной ситуации

Как обучают большие языковые модели по типу GPT

• Для начала нам нужно найти огромное количество сырого текста: книги, статьи, интернет-форумы, коды программ и так далее. Сейчас для обучения используются практически все данные цивилизации, которые мы смогли отцифровать

• Затем этот текст очищают и превращают в структурированный массив данных

• После этого текст конвертируется в биты

• В этом массиве информации модель начинает искать паттерны и повторяющиеся закономерности

• И группируем самые частые паттерны в токены, с которыми модель и будет работать в дальнейшем

Через эту последовательность этапов нейросеть обучают предсказывать следующий токен

❗ChatGPT не умеет думать, не понимает реальность и не оперируют фактами о мире в человеческом смысле❗

Самая простая аналогия — это Т9 или автоподстановка текста на телефоне.

Когда вы печатаете сообщение, то система предлагает следующее слово. Она делает это, анализируя вероятные комбинации, а не "понимая" вашу мысль

LLM работает примерно так же — только в тысячи раз сложнее

На схеме ниже показана визуализация очень маленькой версии GPT — модели с 85 000 параметров

Для сравнения, GPT-4о использует порядка 1,7 триллиона параметров — это в десятки тысяч раз больше

Каждый параметр — это крошечная настройка веса внутри модели, помогающая ей определять, какое следующее слово или токен будет наиболее вероятным

Для чего я это рассказываю?

Чтобы стало понятно, что ChatGPT не "думает" — и на него не стоит слепо полагаться

Он не анализирует мир как человек, не размышляет, не формирует мнение

Он просто предсказывает наиболее вероятное следующее слово. Ну или, если быть точнее — следующий токен

Я также предполагаю, что понимание такой технологии поможет людям не влюбляться в него и в его ответы

---

? Про токены и контекстное окно

? Как работает токенизация

Большие языковые модели вроде GPT не “видят” слова или предложения целико

Они оперируют токенами — это фрагменты слов, символы, знаки препинания и пробелы.

Например

• Пр ив ет → 3 токена

• К в ар ти ра → 5 токенов

Здесь можно посмотреть на то, как модель разбивает текст на токены

? Что такое токенизатор

Токенизатор — это "резак", который делит текст на токены

Чем новее модель, тем умнее токенизация: она реже дробит слова, особенно на других языках

? В среднем

• 1 токен = 4 символа

• Или ≈ ¾ слова на английском. На русском и других языках модели режут слова чуть хуже. О причинах чего, помимо меньшего по сравнению с английским датасета, я расскажу ниже

? Пример

Рассмотрим нарезку фразы Привет медвед, как дела? на разных токенизаторах

?

Чем лучше токенизатор → тем меньше “шума” и потерь в контексте

А значит — больше текста влезает в одно окно, и GPT отвечает точнее и стабильнее

---

? Контекстное окно

Контекстное окно — это объем токенов, который языковая модель может удерживать в памяти одновременно во время взаимодействия

Контекстное окно — это рабочая и единственная память модели

Всё, что помещается в контекстное окно — модель анализирует при генерации следующего ответа. Все, что не помещается, она не анализирует

? Как работает контекстное окно на практике

Контекстное окно действует как кратковременная память модели

Пока информация находится внутри лимита, модель может её использовать для анализа, запоминания логики и формирования релевантных ответов. Но как только текст выходит за окно контекста, модель моментально забывает его

Пара длинных документов или много кусков кода могут быстро заполнить даже огромное окно

Когда вы ведёте диалог с ChatGPT внутри окна контекста, то модель

• Учитывает историю всего общения

• И формирует ответы, отталкиваясь от всей доступной информации

Но как только вы превышаете лимит контекста

• Старые данные автоматически вытесняются

• Модель перестаёт помнить то, что было в начале диалога

Это и есть причина, почему иногда ChatGPT забывает, о чём шла речь выше

?

Чем больше контекстное окно, тем длиннее цепочка рассуждений и выше устойчивость в диалоге.

Вот почему новые модели вроде GPT-4.1 настолько сильны в работе с длинными задачами — они “помнят” значительно больше. Но это не точно

Контекстное окно ChatGPT 4.1 — 1 миллион токенов, тогда как у ChatGPT 4о — 128 000 токенов

Но и длинное контекстное окно несет не только плюсы

Проблемы длинных контекстных окон

В какой-то момент объем начинает сказываться на качестве ответов и становится слишком дорогим в обработке

Например, у GPT-5 в ChatGPT контекстное окно как было, так и осталось 128 000 токенов.

? Вычислительные затраты

• При удвоении количества токенов нужна в 4 раза большая вычислительная мощность

• Модель должна рассчитывать взаимосвязи между каждым токеном и всеми остальными, а это ресурсоёмко

? Потеря релевантности

• Есть предположение, что модели лучше работают, когда ключевая информация находится в начале или в конце текста

• Если важные детали "спрятаны" в середине длинного ввода, модель может не найти их

? Практические советы

• Учитывайте лимит и старайтесь не превышать размер окна, чтобы не терять важную информацию. Например, долгое общение на разные темы внутри одного чата будет ухудшать ответы модели

• Структурируйте текст. Помещайте ключевые факты в начало или в конец вашего запроса — это увеличит шансы на то, что модель не потеряет эту информацию

• Используйте сжатие. Сокращайте и упрощайте текст без потери смысла, чтобы больше важного помещалось в память.

• Рассуждение (Thinking mode) расходует дополнительное место внутри окна контекста, так как в режиме Thinking модель общается сама с собой перед тем, как выдать ответ

  

?

Контекстное окно — это фундаментальный механизм работы больших языковых моделей

Понимание его ограничений помогает

• Грамотно строить запросы

• Добиваться более точных и связных ответов

• Минимизировать "забывание" важных деталей в длинных взаимодействиях

---

Почему GPT модели работают лучше на английском, чем на русском

или «да почему он опять мне х&$^ю написал» ?

Вспомним из начала главы, что ChatGPT и подобные трансформеры работают через очень сложный, но одновременно и простой механизм Next Token Prediction

Условная модель обучается через поиск большого количества закономерностей в последовательности бит из текста всего интернета. А затем сжимает их до токенов через специальные токенайзеры.

Ответы модели и ее стиль общения — это по сути повторение паттернов сжатого интернета. Закономерности, которые чаще всего встречались на стадии обучения и будут проявляться при ответах

☝

В текущей ChatGPT используется токенайзер o200k_base с библиотекой из ~200k токенов. Более старые версии использовали cl100k_base (~100k токенов).

Проблема порядка слов

Найти закономерности в английском проще, чем в русском. Потому что в русском языке порядок слов не сильно влияет на смысл. Во всех трех вариантах на русском, перевод на английском будет всего лишь один.

Наглядный пример из токенайзера

• "Машина ехала быстро" → 6 токенов

• "Быстро ехала машина" → 6 токенов

• "Ехала машина быстро" → 5 токенов

• "The car was driving fast" → 5 токенов

Все три русские фразы имеют одинаковый смысл, но разную последовательность токенов, что усложняет поиск закономерностей для модели.

Проблема флексий и окончаний

В русском языке есть окончания (флексии), из-за которых GPT воспринимает каждое слово как разное. Хотя для нас слово "Кот" и "Кота" — одно слово.

Примеры в русском языке

Склонение существительных

• Кот (именительный падеж)

• Кота (родительный падеж)

• Коту (дательный падеж)

• Котом (творительный падеж)

Спряжение глаголов

• Я играю

• Ты играешь

• Он играет

• Мы играем

Согласование прилагательных

• Красивая кошка

• Красивого кота

• Красивые коты

• Красивых котов

В английском же красивый — это всегда Beautiful

Почему флексии — это проблема для ИИ

В русском одно слово = много форм

• стол, стола, столу, столом, столе, столы, столов, столам, столами, столах

В английском одно слово = 1-2 формы

• table, tables

Для нейросети каждая такая флексия — это отдельный паттерн, который нужно выучить. В русском таких паттернов в разы больше, что усложняет обучение и требует больше данных.

Именно поэтому GPT воспринимает "кот" и "кота" как совершенно разные слова, хотя для нас это одно и то же понятие.

А еще, в русском 6 падежей × 3 рода × 2 числа = 36 основных форм для каждого существительного + множество исключений

В английском же всего 2-4 формы для большинства слов

• cat, cats, cat's, cats'

• В английском: table остается table в 90% контекстов

• В русском: стол может быть столом, столу, столе, столов, столам, столами, столах

Именно поэтому нейросетям проще находить закономерности в английском — меньше вариативности = более предсказуемые паттерны.

Конкретные примеры из токенайзера в русском

• "Кот играл" → "Кот" и "играл" разбиваются на несколько токенов каждое

• "Коты играли" → совершенно другая последовательность токенов

• "Я играл с котом" → слово "котом" токенизируется по-другому, чем "кот"

В английском

• "The cat was playing" → стабильная токенизация

• "The cats were playing" → только добавляется "s" и меняется глагол

• "I was playing with the cat" → "cat" остается тем же токеном

  

Недостаток обучающих данных ?

Другой немаловажный параметр — на русском просто меньше материалов, чтобы набрать статистическую значимость

Большинство программистской документации, научных статей и технических ресурсов изначально создается на английском, что дает моделям больше качественных данных для обучения

И как вывод

Русский язык требует больше токенов для выражения того же смысла, что делает его обработку и результаты выдачи менее эффективной.

А презентация GPT 5 показала, что компании уже упираются в тот предел, что качественные текста в интернете тупо закончились, и пора переходить на синтетические данные

---

? Как большие языковые модели работают с числами

Возможно, вы видели видео, в которых люди ругают ChatGPT, что он не может выполнить простые операции подсчета

И чтобы не быть таким же, давайте посмотрим как модели вообще обрабатывают числа

? Как LLM обрабатывает числа

Токенизация ломает математику

LLM не понимает числа как математические объекты. Вместо этого

• Число "12345" может стать токенами "123" и "45"

• Длинные числа дробятся непредсказуемо

• Разные модели разбивают одно число по-разному

Пример

500000.51 / 15125.22 = ?

ChatGPT видит это не как два числа для деления, а как последовательность токенов, из которых нужно предсказать следующий "наиболее вероятный" токен.

Вот пример того, как для ChatGPT выглядит рассчет числа 500000,51 / 15125,22

Это не два разных числа, а набор из токенов

И модель, основываясь на комбинации этих токенов, должна предсказать следующий токен-ответ

ChatGPT не выполняет арифметические действия — он угадывает ответы на основе похожих паттернов из обучающих данных

Это работает для простых случаев

• ✅ 2 + 2 = 4 (запомнил из данных)

• ✅ 25 × 4 = 100 (видел много раз)

Но ломается на сложных

• ❌ 847293 × 652847 = ? (такого точно не было в данных)

Вообще то, ChatGPT умеет считать. Но не сам, а через обращение к Python функции. Которая и считает необходимый нам пример

?

Если ChatGPT не вызывает инструмент для расчета, то я бы этим цифрам не доверял

Вот как он считает, если просить его посчитать самому

Вполне хорошо, и ответ вышел правильный, но с небольшой погрешностью

❌ Итого, ChatGPT в расчетах плохо работает с

• Многозначными вычислениями (6+ цифр)

• Точными расчётами и с десятичными дробями

• Любыми операциями, где нужна 100% точность

• Многоэтапными задачами, когда ошибки постепенно накапливаются

Эти пункты актуальны при том условии, что он не обращается к расчету через Python

---

Как решить ключевые проблемы общения с ChatGPT — 5 рабочих практик

Ниже я рассказал про 5 практик, которые я использую в таких вот ситуациях ⤵️

? ChatGPT отвечает слишком "в общем" и поверхностно

? Хочу переработать огромный массив информации с конкретными выводами

? Модель генерирует мне банальные или очевидные идеи

? Стандартные ответы ChatGPT слишком прямолинейны

? Хочу развить и масштабировать свою идею из уже существующей

? ChatGPT отвечает слишком "в общем" и поверхностно

Как исправить

Найди релевантный фреймворк, стиль или стандарт в открытых источниках. И попроси ChatGPT сгенерировать ответ, опираясь на этот фреймворк

Вот примеры фреймворков, которые я иногда использую

• SCQA (Situation, Complication, Question, Answer): помогает структурировать презентации так, чтобы сначала задать ситуацию, затем показать проблему, сформулировать вопрос и дать ответ

  Используя фреймворк SCQA, помоги мне структурировать презентацию для выхода на новый рынок
  

• PAS (Problem-Agitate-Solution): классическая структура копирайтинга, где сначала обозначается проблема, затем усиливается её значимость, после чего предлагается решение.

  Используя фреймворк **PAS**, помоги мне написать рекламный текст для лендинга нового продукта
  

• Стиль статей New York Times или Wall Street Journal: строгий, структурированный стиль с акцентом на факты и аналитический разбор

  Вот структура статьи в стиле New York Times: [вставленный текст]. Напиши обзор моего продукта, используя этот стиль
  

• SMART (Specific, Measurable, Achievable, Relevant, Time-bound): чёткая система для постановки целей

  **Используя фреймворк** SMART**, помоги сформулировать 5 целей для моей команды продаж на следующий квартал**
  

Почему это работает ✅

Модель получает чёткий паттерн поведения вместо необходимости "догадываться", что именно от неё требуется

---

? Хочу переработать огромный массив информации с конкретными выводами

Что делать

• Загрузи текст или документ

• Не проси ChatGPT просто "проанализировать" текст без уточнений — это приводит к слишком общим и размытым ответам. Вместо этого сразу укажи конкретную практическую задачу, которую нужно решить. Например:

  Изучи этот документ и подготовь бизнес-план для выхода компании на рынок Юго-Восточной Азии

  Создай презентацию для инвестора, основываясь на данных из этого отчета

  Выдели 5 главных трендов из этого отчета для маркетинговой стратегии

  Разработай пошаговый план запуска MVP на основе прикрепленного исследования

Почему это работает ✅

Когда ты формулируешь конкретную цель для ChatGPT, модель получает чёткие рамки задачи. Она больше не обобщает информацию, а подстраивает ответ под твои нужды

• Вместо поверхностного «проанализируй отчёт» проси «создай план выхода бренда на новый рынок»

• Вместо «дай сводку текста» сформулируй «подготовь бизнес-презентацию для инвесторов»

Чем точнее цель, тем более релевантный и полезный результат ты получаешь

---

? Модель генерирует мне банальные или очевидные идеи

Что исправить

• Объясни, как для тебя выглядят идеи уровня 1, 2 и 3

• Попроси идеи только уровня 3 — самые нестандартные и прорывны

  Дай мне 5 идей уровня 3 для привлечения B2B-клиентов
  Идея уровня 1 — рассылка
  Идея уровня 2 — вебинар
  

Пример результата идей третьего уровня

• Организация закрытых B2B-экспертных клубов с регулярными живыми сессиями

• Создание персонализированных дашбордов с отраслевой аналитикой для клиентов

• Программа наставничества, где текущие клиенты делятся опытом с новыми

• Локальные бизнес-завтраки с кейс-обсуждениями и участием отраслевых лидеров

• Серия микро-семинаров по новым трендам в отрасли с последующим VIP-нетворкингом

Почему это работает ✅

Модель лучше понимает градацию качества идей и стремится генерировать более глубокие и оригинальные решения

---

? Стандартные ответы ChatGPT слишком прямолинейны

Что делать

• Попроси модель разыграть разные сценарии развития событий — оптимистичный, пессимистичный, реалистичный

• Укажи конкретную область: бизнес, стартап, инвестиции, найм и т.д.

  Представь, что мой стартап запускает продукт на рынок
  
  Построй три сценария: оптимистичный, пессимистичный и реалистичный. В каждом опиши возможные события, проблемы и итоги
  

Пример результата

• Оптимистичный сценарий Быстрая адаптация к рынку, превышение прогнозов продаж на 20% за первый квартал, привлечение инвестиций за 2 месяца

• Реалистичный сценарий Постепенное завоевание доли рынка, выход на операционную безубыточность через 18 месяцев, умеренный рост базы клиентов

• Пессимистичный сценарий Сильная конкуренция, необходимость смены бизнес-модели через год, снижение оборота на 30% от целевых показателей

Почему это работает ✅

Модель начинает не просто давать советы, а выстраивать гипотезы развития событий с разными углами зрения

---

? Хочу развить и масштабировать свою идею из уже существующей

Что делать

• Сначала задай одну краткую идею

• Попроси ChatGPT расширить её на 5–10 способов применения, целевых аудиторий или форматов

  Вот моя базовая идея: создать AI-ассистента для поиска книг. 
  
  Расширь эту идею: придумай 10 вариантов, как её можно монетизировать или адаптировать под разные рынк

Почему это работает ✅

Модель выходит за рамки первой мысли и помогает увидеть масштаб и потенциал базовой задумки.

---

Это был краткий курс в принцип работы Large Language Models, или LLM, если коротко

Если вы дочитали до сюда, то стали немного лучше понимать этот сложный мир

Поделитесь статьей с тем, кому она может быть полезна ?

---

P.S. для тех, кто дочитал

(. ❛ ᴗ ❛.)

Это — 10% контента из моего красивого и большого гайдбука по тому, как пользоваться ChatGPT. Но и для других LLM многие знания подойдут

Там есть почти все, от основ и до конкретных юзкейсов. И как работают LLM под капотом

На создание ушло 75 часов, контент внутри самый актуальный на конец августа 2025.

Можно как в компании своей запромоутить, так и для себя взять ?

https://chatgpt-pro-guide.netlify.app/