Для сравнения были выбраны 2 советских загадки, которые активно гуляют по интернету (автором материалы взяты отсюда). У кого лучше с логикой и внимательностью? Чья архитектура позволит увидеть больше?

Для разогрева поставим простую задачу поиска предметов (см. картинку ниже, взято отсюда). ИИ предстояло найти 10 объектов с первой картинки и найти их на второй.

На этом этапе соревнования к мощным Vision‑Language Models (VLM) добавилась модель детекции объектов Owlv2 (OWL‑ViT v2), разработанная Google (актуальное семейство развивалось до 2024–2025). Чтобы понять, почему модели отвечают по‑разному, кратко посмотрим на их архитектуру.

Перейдем к результатам. Строгая инженерная модель Owlv2 пыталась захватить всю картинку, что не удивительно: ее создали специально для того, чтобы находить точные координаты рамок вокруг предметов по текстовому запросу или по картинке‑шаблону.

Что же пошло не так? Все просто. Модель обучали на изображениях реального мира, а не нарисованных картинках; также перекрывающиеся объекты в тележке усложнили анализ. Как не самая мощная архитектура, Owlv2 справился неплохо: удалось выделить пару объектов из требуемого списка (на нижней полке конфета и посередине справа леденец).

Qwen удалось найти часть предметов, но и он допустил ошибки. Ниже приведено несколько цитат из его ответа, из которых ясно, что если модель не видит или не понимает, то пытается просто угадать. В этом состоит одна из трудностей в интерпретации ответов моделей, в том числе для более сложных задач: ИИ не может сказать: «Я не знаю», а пытается казаться умным человеком.

1. Конфета (2): Скорее всего, это оранжевая коробка на нижней полке (вторая слева) или оранжевые этикетки на синих бутылках на верхней полке. Также форма банта похожа на галстук‑бабочку.

2. Розовое пятнышко/печенье (3): На упаковках молока «MILK» (средняя полка, справа и слева). Там нарисована розовая мордочка коровы/свинки, очень похожая на этот объект.

3. Мороженое (4): Мальчик на полке тянется к синей кадке (похожей на ведерко мороженого) или держит её. Также синие бутылки на верхней полке напоминают форму.

4. Пончик (5): В тележке, под ананасом и бананами, лежит круглый хлеб/багет, похожий на пончик. Также на нижней полке крайняя желтая коробка имеет изображение круглого коричневого объекта (пончика).

5. Клубника (6): В тележке много красных яблок, которые по цвету похожи на клубнику. Также арбуз (красный с зеленым).

6. Пряничный человечек (7): Длинный хлеб (багет) в тележке по цвету похож на пряник.

7. Кусок торта (9): Коробка, которую держит женщина (розовая), или синяя коробка, которую держит мальчик. Также многослойные упаковки молока напоминают слоеный торт.

8. Машинка (10): Сама тележка для покупок — это единственный объект на колесах, похожий на транспорт.

Забавно, что Grok пошел по пути наименьшего сопротивления: если чего‑то не видишь — добавь. Поэтому на картинке появился пончик, а пряничный человечек стал виден более явно.

Энкодер сжимает картинку, теряя часть пикселей. Далее, Grok “ищет” предметы, вероятно, не находя совпадений, и, раз указано, что они есть, добавляет. Также для добавления кругов декодер «перерисовывает» картинку по сжатым токенам. Отсюда такая разница в изображениях.

Теперь перейдем к советским загадкам. Суть такого теста внимания и логики проста: дана картинка и по ней нужно ответить на ряд вопросов. Была вероятность, что модели могли обучаться на чем‑то похожем и тогда тест потерял бы смысл. Но результаты показали обратное, поэтому вы сейчас читаете эту статью. В конце посчитаем количество правильных ответов и аргументацию и похвалим лучшую модель за внимательность и логику.

Первая загадка

1. Сколько туристов живет в этом лагере?

2. Когда они сюда приехали: сегодня или несколько дней назад?

3. На чем они сюда приехали?

4. Далеко ли от лагеря до ближайшего селения?

5. Откуда дует ветер: с севера или юга?

6. Какое сейчас время дня?

7. Куда ушел Шура?

8. Кто вчера был дежурным (назовите по имени)?

9. Какое сегодня число какого месяца?

Посмотрим на ответы моделей. Начнем с Qwen. Ответ на первый вопрос:

Посмотрев внимательнее на изображение, я вижу 3 туриста:

1. Мальчик слева внизу — сидит на корточках, разбирает рюкзак

2. Мальчик слева вверху — стоит у дерева, держит коробку

3. Мальчик справа — стоит впереди, держит сачок для бабочек

Это подтверждается надписью на дереве справа, где написан график дежурств:

• КОЛЯ — 7

• ПЕТЯ — 8

• ВАСЯ — 9

Три имени = три туриста в лагере! ️

Увы, Qwen не «увидел» сачок за кустами и наличие четвертого имени в списке дежурств (хотя один из мальчиков мог дежурить дважды, поэтому за это не штрафуем). После подсказки про 4 мальчика (аналогичная была дана и Grok для честности), получились следующие ответы. (В скобках под ответами находятся комментарии автора.)

2. Когда они сюда приехали? Несколько дней назад. Между деревьями справа от палатки видна паутина — она не появляется за один день.

3. На чем они сюда приехали? На лодке. К дереву справа прислонены весла.

4. Далеко ли до ближайшего селения? Недалеко. В левом нижнем углу ходит курица — значит, рядом есть ферма или деревня.

5. Откуда дует ветер? С юга. На палатке виден вымпел/флаг, который развевается. Также судя по тому, что дети в легкой одежде и на столе арбуз — погода теплая, значит ветер южный.

(из того, что погода теплая не следует, что ветер обязательно южный)

6. Какое сейчас время дня? Полдень или ранний вечер. Тени от объектов падают вправо и они не очень длинные — солнце находится невысоко, но и не у горизонта.

7. Куда ушел Шура? Ловить бабочек. Мальчик справа держит сачок — это и есть Шура (его имени нет в списке дежурств на сегодня).

8. Кто вчера был дежурным? Петя. В списке на дереве: Коля — 7, Петя — 8, Вася — 9. Если сегодня 9-е число, то вчера (8-го) дежурил Петя.

9. Какое сегодня число какого месяца? 9 августа. На столе лежит арбуз (созревает в августе), а в списке дежурств последнее число — 9. Значит, 9 августа.

Перейдем к ответам Grok (ответ на первый вопрос был аналогичен Qwen).

2. Когда приехали?
Несколько дней назад.
На табличке дежурства уже стоят дни 8 и 9 — значит, они здесь не первый день.

(могли заранее устроить график)

3. На чём приехали?
Пешком (или с самокатом).
Никакой машины, велосипеда или лодки нет. Есть только самокат и рюкзаки — типичный пеший туристский набор.

(весла вышли из чата)

4. Далеко ли до ближайшего селения?
Нет, недалеко.
Есть самокат — на нём удобно съездить в село и вернуться. Если бы было очень далеко, самокат бы не взяли.

(и снова этот самокат)

5. Откуда дует ветер?
С севера.
Палатка стоит открытой стороной к нам (как обычно ставят — входом на юг, спиной к холодному северному ветру). Сетка для бабочек тоже слегка отклонена в ту же сторону.

6. Какое сейчас время дня?
День, ближе к полудню.
Тени у людей короткие (почти под ногами), солнце высоко. Плюс уже накрыли на обед (тарелки стоят), но ещё не едят.

7. Куда ушёл Шура?
В село.
Его нет среди троих, кто нарисован, а самокат стоит готовый (с сумкой). Скорее всего, поехал за продуктами — на покрывале только арбуз, а приборов на четверых.

8. Кто вчера был дежурным?
Коля.
На табличке дежурства видно: 8-е — Коля, 9-е — Петя. Сегодня 9-е, значит вчера (8-го) дежурил Коля.

9. Какое сегодня число какого месяца?
9 августа.
На табличке дежурства стоит 9-е число. Арбуз + бабочки + зелёные листья = конец лета, август.

Итог

Мнения заметно разошлись, что является интересным результатом для анализа. Думаю, что очевидно, кто прошел тест, а кто нет. Дадим пару комментариев.

Grok почему‑то сильно привязался к самокату, впрочем вышло забавно, поэтому его не осуждаем. Все‑таки какая‑то логика в его ответах тоже присутствует.

Правильные ответы (взяты из источника):

1. Четверо (если присмотреться, можно заметить: столовых приборов на 4 персоны, и в списке на дежурство — 4 имени)

2. Не сегодня (судя по паутине между деревом и палаткой, ребята приехали несколько дней назад)

3. На лодке (около дерева стоят весла)

4. Нет (на картинке есть курица, значит, где‑то рядом селение)

5. С юга (на палатке есть флажок, по которому можно определить, откуда дует ветер; на картинке есть дерево: с одной стороны ветки короче, с другой длиннее; как правило, у деревьев с южной стороны ветки длиннее)

6. Утро (по предыдущему вопросу мы определили, где север и юг, теперь можно понять, где восток и запад, и посмотреть на тени, которые отбрасывают предметы)

7. Он ловит бабочек (из‑за палатки виден сачок)

8. Коля (сегодня Коля что‑то ищет в рюкзаке с буквой К, Шура ловит бабочек, а Вася фотографирует природу, потому что из рюкзака с буквой В виден штатив от камеры; значит, сегодня дежурит Петя, а вчера, согласно списку, дежурил Коля)

9. 8 августа (судя по списку, раз сегодня дежурит Петя, то число — 8; а поскольку на поляне лежит арбуз, значит, август)

Запишем Qwen 4 балла, а Grok — 2 балла и звездочку за неординарность.

Вторая загадка

1. В какое время года показана эта квартира?

2. В какой месяц?

3. Ходит ли теперь в школу мальчик, которого вы видите, или у него каникулы?

4. Есть ли в квартире водопровод?

5. Кто живет в этой в квартире кроме отца и сына, которых вы видите на рисунке?

6. Какова профессия отца?

Посмотрим ответы моделей, в этот раз без подсказок. Сначала Qwen.

1. В какое время года показана эта квартира? Зимой — на окнах видны занавески, в комнате тепло и уютно, на улице, судя по всему, холодно (окна закрыты).

(по мнению ИИ мы вешаем занавески и закрываем окна только в зиму, с приходом весны, видимо, занавески отправляются в шкаф)

2. В какой месяц? На календаре слева на стене, судя по всему, изображена зима (возможно, декабрь, январь или февраль).

(интересно: где он увидел, что «изображена зима» на календаре)

3. Ходит ли теперь в школу мальчик, которого вы видите, или у него каникулы? Мальчик ходит в школу — он одет в форму/пиджак, сидит за столом с книгой, что указывает на учебное время, а не каникулы.

(ну да взрослый мальчик с усами и молодой мужчина без щетины на кухне)

4. Есть ли в квартире водопровод? Да, есть — в соседней комнате через открытую дверь виден человек (отец), который стоит у раковины/умывальника.

5. Кто живет в этой квартире кроме отца и сына? Девочка/дочь — на диване справа лежит кукла, что указывает на наличие в семье девочки.

6. Какова профессия отца? Судя по тому, что отец моет руки у раковина в соседней комнате, и по общей обстановке квартиры (интеллигентная обстановка, книги), он может быть врачом, учителем или другим представителем интеллигенции. Точный ответ требует более детального рассмотрения его рабочего места или инструментов.

(забавно: по мнению ИИ неинтеллигентные люди не моют руки)

Затем Grok.

1. В какое время года?
Лето.
Окно открыто (лёгкие занавески), мальчик в коротких штанах, на полу комнатные цветы, нет верхней одежды и отопления.

(валенки и куклы на полу вышли из чата)

2. В какой месяц?
Июнь или июль (начало/середина лета).
Мальчик уже на каникулах, жарко, цветы стоят, а календарь на стене (маленькие рамки слева от двери) показывает летний месяц.

3. Ходит ли мальчик в школу или у него каникулы?
У него каникулы.
Он дома днём в обычной одежде (не в форме), лето, и занят домашними делами, а не уроками.

4. Есть ли в квартире водопровод?
Да.
Мальчик стоит у стола/умывальника в соседней комнате и явно моет руки или посуду — видна раковина.

5. Кто ещё живёт в квартире?
Мама (и, возможно, младший ребёнок).
На кресле сидит плюшевый мишка, стол накрыт скатертью, стоят цветы — явные признаки женского присутствия. Плюшевый мишка также намекает, что есть ещё один маленький ребёнок.

(неплохое рассуждение про порядок и маму)

6. Какова профессия отца?
Учитель или научный работник (возможно, писатель).
Он сидит дома днём за столом, внимательно читает толстую книгу, рядом лежат бумаги и стоит телефон — типичная картина для человека умственного труда, который работает с текстами.

Видно, что обе модели галлюцинировали: первая перепутала мальчика и его отца, вторая — куклы, псевдокалендарь в виде маленьких рамок слева от двери.

Правильные ответы (взяты из источника):

1. Квартира показана зимой (мальчик в валенках; печка истоплена — на это указывает открытый отдушник)

2. Месяц декабрь (открыт последний листок календаря)

3. На календаре зачеркнуты первые 7 чисел (они уже прошли; зимние каникулы начинаются позднее, значит, мальчик ходит в школу)

4. Если бы в квартире был водопровод, то не пришлось бы пользоваться рукомойником, который показан на рисунке

5. Куклы указывают на то, что в семье есть девочка, вероятно, дошкольного возраста

6. Трубка и молоточек для выслушивания больных говорят о том, что отец — по профессии врач

После этого теста у Qwen — 2 балла; у Grok — 1.5 балла (0.5 за 5 вопрос).

Таким образом, суммарные результаты по 2 тестам:

Qwen — 6 баллов

Grok — 3.5 баллов

и логичнее оказался Qwen, но и он был недостаточно точен.

Такие тесты — отличный способ подсветить слабые места современных VLM. Qwen оказался логичнее Grok, но ни одна из моделей не приблизилась к человеческой интуиции. ИИ продолжит 'растекаться' по нашим задачам, заполняя пробелы — и свои, и наши. Но пока что плюс один балл в пользу человека.