В прошлом гайде https://habr.com/ru/articles/918226/ я уже разбирал по каким признакам палится искусственный текст и как можно очеловечить даже самый бездушный ответ нейросети. Но было интересно, правда ли люди так круто отличают своего от машинного, если убрать ярко выраженный стиль или дурацкие автозамены. Так в рамках статьи был приведен тест https://tally.so/r/w4DZoO, позволяющий проверить свои навыки распознавания.
Я собирал интерактивный тест из пары десятков парных текстов и предоставил аудитории угадывать, где писал человек, а где нейросеть. Было ожидание, что завсегдатаи хабра и айтишники разнесут LLM в сухую. Ан нет, результат вышел отрезвляющим.
Кто победил человек или алгоритм
Тест готовился на GPT-o3, без каких-то мудреных техник, разве что векторизованная выгрузка из канала автора и пары переписок + лигий тюнинг после анализа его тональности. Те ничего особенного.
В опросе поучаствовали 300 человек. В тесте - 28 вопросов (14 пар текстов). Специально миксовал бытовые зарисовки личные истории и рабочие сцены, чтобы исключить явную стилевую палку.
Средний результат - 16 правильных из 28 → 58% точности угадывания. Это на пару процентов лучше монетки - но явно не повод гордиться. Медиана - 17. Почти треть респондентов не набрала и 50 процентов верных ответов - если бы отвечали вслепую, результат был бы не хуже.
На чем спотыкались даже финалисты теста
Вопросы про бытовые детали - кто что ест, что любит делать по утрам и прочие милые пустяки - в 45% случаев путали всех. Narrow AI (LLM-ки) научились пародировать банальщину лучше любого копирайтера - описания про овсянку с бананом или лето когда можно есть вишню проходят на ура.
Гладкая аргументация и стройная структура автоматически записывались в AI даже если писал человек. Парадокс: чем правильнее формулируешь мысли, тем больше шанс быть принятым за нейросеть. Постоянно наблюдаю баталии на этот счет на LinkedIn и Threads.
Юмор, автобиография, любые признаки эмоций или призмы личного опыта, даже если GPT изображает иронию или вставляет стрёмную шутку, участниками почти всегда распознавались как признак человека . У самой GPT местами это выходит убедительнее чем у некоторых людей.
Ошибки, небрежные обороты и внезапные обрывы фраз, почему-то начинают превращаться в классику, по которой идентифицируют живого автора. И они работали, но только до того момента, пока нейросеть не начинала их копировать более раздутыми корпусами и структурным промптингом.
Самое главное: чем больше GPT добавляла небрежности, тем хуже угадывали.
Где сыпались почти все
Длинные тексты. Если текст растянут на несколько абзацев и с виду автобиографичен, угадываемость падала до 38% на этих вопросах. Нейросеть тянет за счет постоянства и связности, а люди частенько теряют нить или уходят в повтор.
Если оба автора писали максимально пресно и сухо, угадывали хуже всего. Банальные советы искать гладкость или ловить неестественные обороты сработали бы года два назад; но сейчас не катят. GPT обновляется быстрее чем появляется новый детектор.
Если в тексте была яркая эмоция или исповедь - почти всегда считали, что писал человек. Но были вопросы где это был AI и там ошибка угадывания взлетала до 60%.
Общие паттерны и ложные ориентиры
Гладкость - значит робот. Личные детали - значит человек. Сухость - AI. Всё чаще это не так. Нейросеть ловко жонглирует всеми этими признаками. Чем сильнее участник теста был уверен в себе тем чаще ловил фейл именно на стыке человеческой ошибки и машинного мимикрирования.
Особенности поведения по данным теста
Участники уверены что их не провести (я так полагаю, иначе зачем тест проходить), но проваливают бытовые и личные тексты - GPT уже спокойно имитирует скучные детали жизни;
Удивительно много промахов на тексты средней длины - то есть на простых диалогах и описаниях событий без выпендрёжа;
Самые уверенные в себе комментаторы чаще ошибаются на деталях где текст специально ломает ритм или выбрасывает мелкие личные детали. Теперь и человек и нейросеть в этом одинаково убедительны;
В части вопросов где GPT изображала неловкие эмоции или ошибалась специально угадываемость была чуть выше рандома. Даже обратный паттерн: чем нелепее GPT, тем чаще её принимали за человека;
Упор на искать гладкость или неестественные обороты и ждать стрёмных шуток → банальная стратегия которая не работает с новыми моделями;
Комментировать про — и “ “ я даже не буду, слишком приелось;
Если текст очень скучный или слишком правильный, ловили осечку почти все. Сейчас по этому палится скорее не GPT, а недостаточно подкованный автор.
Итого
LLM мимикрирует не только под стиль, но и под типичные человеческие ошибки. Человечность становится новым скиллом, как когда-то умение писать код без багов. И если ты всё ещё надеешься поймать нейросеть по старым паттернам, что ж, я полагаю, ты немного отстал от мира.
Тест открыт - проверь свою интуицию. А полный гайд по признакам тут: https://habr.com/ru/articles/918226/
Комментарии (167)
SadOcean
29.06.2025 14:43Это неизбежно
Есть замечательный рассказ
Брайан Плант "Только человек" (It's only human)
Renewal_Studio Автор
29.06.2025 14:43Спасибо, ознакомлюсь. Печально что вайбкодинг прижился, а щитлуп нет, мне пока не очень уютно в мире сгенерированных текстов
Wesha
29.06.2025 14:43Я старый пе^Hрожжённый (по)читатель фантастических (и не только) рассказов, и давно заметил одну особенность:
Сполер
Ежели аффтар из кожи вон лезет, чтобы показать, что X ну вот совершенно и совсем никак не может быть тем, кого мы пытаемся обнаружить — то именно он как раз и является тем, кого мы пытаемся обнаружить — первым рассказом с таким вотэтоповоротом для меня стали «Десять негритят» Агаты Кристи.
SadOcean
29.06.2025 14:43Допускаю, что важная часть идеи не только в твисте, но и в концепте, что самый надежный способ сделать достоверную подделку - это сделать настоящее.
То есть в рассказе компьютер не притворялся человеком
Wesha
29.06.2025 14:43самый надежный способ сделать достоверную подделку - это сделать настоящее.
А, Вы тоже читали статью?
SadOcean
29.06.2025 14:43Нет, эту не читал)
Но знаком с концепцией "подделать дороже чем сделать" в этом контексте.
Я видел уже обсуждения, что припертые к стенке аргументами "СССР следил за сигналами", рассказывали что запустили специальный корабль, транслирующий сигналы)
Хотя очевидно, что если ты можешь запустить корабль, транслирующий сигналы - ты можешь и с чем нибудь другим его запустить.Renewal_Studio Автор
29.06.2025 14:43А зачем нужен был этот корабль вольнодумцы и мистики не уточняли?
SadOcean
29.06.2025 14:43Чтобы подделать наблюдаемые эффекты - взлетающую ракету, которую видели тысячи людей, трансляции и сигналы из космоса, которые видел как минимум еще СССР, как максимум - ловили радиолюбители половины планеты.
А еще повторить это все несколько десятков раз с разными эффектами - аполлонов ведь был не один.
Иначе в теорию заговора нужно включить десятки тысяч людей, что делает ее менее вероятной.
Вот и получается, что снять мультик недостаточно, а сложность операции, число задействованных лиц и сложность сокрытия выходят такими, что проще реально запустить ракету на луну.
Renewal_Studio Автор
29.06.2025 14:43А зачем ему притворяться? На ваш взгляд обязательно надо указывать? Мне вон выше самый популярный автор хабра попросил исправить ошибки и прямо указал используй chatgpt и перепиши. После этого моя статья уже начинает притворяться человеком?
SadOcean
29.06.2025 14:43Мы обсуждаем разные вещи.
В рассказе компьютер не имитировал, а симулировал человека. То есть там интересная концепция, что не компьютер притворяется человеком. Его программа - реальный человек в цифровом виде, как бы вам не нравилась эта идея.
Это как эмуляция старых консолей на современных компьютерах - с точки зрения игры пространство как настоящее.
В контексте вашей статьи - Я уверен, что тексты неотличимы или будут неотличимы в ближайшем будущем. Я не думаю, что с этим можно и нужно бороться.
Вместо этого нужно сосредоточиться на особенностях и целях тех, кто это публикует.
Если информация достоверна - нет ничего плохого, что ее напишет не человек.
На чем нужно сосредоточиться, так это на контроружии - инструментах определения валидности, поиска ошибок, решения проблем репутации и доверия (например, собирать информацию как часто ресурс врет или ангажирован) и т.дRenewal_Studio Автор
29.06.2025 14:43Пожалуй, но у меня не было цели бороться с ветреными мельницами
Jirabus
29.06.2025 14:43Помню раньше был прикол, выбери где на фото не транс. Давно это было.
Кругом обман и с годами ситуация становится все хуже
Renewal_Studio Автор
29.06.2025 14:43А как на ваш взгляд к этому стоит относиться и что делать? И стоит ли?
LavaLava
29.06.2025 14:43Цифровой апартеид : THE SITE IS FOR HUMAN ONLY
но это всем надо встать в очередь на единый ID. Половина конечно скажет что не хотят чтобьы их считали. И идея провалится.
Потом Arpanet создаст новую онлайн систему, куда уже пускать только по ID. И это будет новый интернет HumanNet ( totalitarizm edition)
Там будет тяжеловато для психики под постоянным надзором и старый интернет будет работать почти как и прежде, потихоньку утопая в жиже ИИ контента. А всем кому не нравится ИИ будут махать в строну HumanNet и они вскоре уже и перестанут бурчать и привыкнут
Renewal_Studio Автор
29.06.2025 14:43Ахахах, уже есть https://agentrxiv.github.io/ и https://ai.vixra.org/ чтобы отделять православный https://arxiv.org/ от статей которые генерируют
vital_pavlenko
29.06.2025 14:43Поражаюсь вашей упёртости использовать «-» вместо «—», лишь бы текст не походил на сгенерированный. Уже смахивает на какое-то тревожное расстройство. Бессистемная пунктуация, короткое тире и опечатки — и всё ради того, чтобы читатель подумал, что это пишет живой человек
Renewal_Studio Автор
29.06.2025 14:43Так это и писал живой человек, каюсь, я не самый грамотный автор, но я никогда не заявлял этого. К чему ваше оценка моих личностных качеств и состояния здоровья?
vital_pavlenko
29.06.2025 14:43Только один вопрос. Что плохого в том, чтобы хотя бы исправить ошибки с помощью ИИ?
Renewal_Studio Автор
29.06.2025 14:43Сейчас исправлю, я честно говоря не вижу в этом ничего жуткого, как никак не научную статью публикую, ошибки бросающиеся в глаза сразу исправляю
Renewal_Studio Автор
29.06.2025 14:43Я искренне ряд делать текст чище и если вы укажите на особенно заметные, буду очень признателен вам!
vital_pavlenko
29.06.2025 14:43Опечатка: «начниает»
Непоследовательное использование тире: короткое тире вместо длинного
Некорректная пунктуация: «до того момента пока» — нужно запятая: «до того момента, пока»
Смешение терминов без пояснений: «Narrow AI (LLM-ки)» — непонятно, почему LLM-ки названы Narrow AI, и что именно под этим подразумевается
Лучше использовать ёлочки ковычки (« »)
Излишняя разговорность: фразы вроде «я даже не буду» или «это всё» — допустимы в блогах, но выглядят небрежно в аналитическом материале
gluck59
29.06.2025 14:43Некорректная пунктуация: «до того момента пока» — нужно запятая: «до того момента, пока»
Если от запятой смысл фразы не изменяется — запятую не ставим. Уже много лет как договорились до этого.
Renewal_Studio Автор
29.06.2025 14:43Странное утверждение. А где про это можно почитать?
gluck59
29.06.2025 14:43где-то, где готовят корректоров видимо
≈20 лет назад это было, уже не вспомню
vital_pavlenko
29.06.2025 14:43Всего-то стоило спросить ChatGPT
Renewal_Studio Автор
29.06.2025 14:43Спасибо, почистим, но вот « » и — я все же пооостерегусь использовать, так как не использую обычно в своих текстах
Kerman
29.06.2025 14:43Ну вот у меня для длинного тире нет кнопки на клавиатуре, а для короткого - есть.
Renewal_Studio Автор
29.06.2025 14:43А
Alt + 0151не рабоет? Я в основном не ставлю, так как уже запамятовал в каких случаях оно нужно и иногда откровенно ленюсьKerman
29.06.2025 14:43Я сейчас поискал на клавиатуре кнопку "Alt + 0151" и не нашёл. А должна быть?
Renewal_Studio Автор
29.06.2025 14:43Альт + 0151 последовательно на нумпаде и отпустить
Kerman
29.06.2025 14:43Это я знаю, даже код помню. Но кнопки у меня всё равно нет
Renewal_Studio Автор
29.06.2025 14:43Те если набрать не получится — ? Я вот благодаря переписке намертво запомнил, полагаю буду активнее применять и слыть нейросетью
Kerman
29.06.2025 14:43Вы сами ответили на вопрос.
TL&DR: Вы - ленивая жопа. Я тоже ленивая жопа. И все человеки ленивые жопы. АИ - нет.
Чуть научнее: у человека есть механизм экономии энергии. В том числе и для работы мозга, который жрёт, прям скажем, немало. У аишки этого механизма нет. Ей не впадлу набирать длинные тире и распростёртые длиннющие водяные тексты выдумывать.
У меня нет кнопки для длинного тире - я и не набираю. Вот ещё. Это долго и муторно. А ещё попробуй запомнить на каждый случай.
Wesha
29.06.2025 14:43у человека есть механизм экономии энергии
...а потом удивляемся — откуда ожирение взялось.
Kerman
29.06.2025 14:43К сожалению - да. Организм привык накапливать запасы на чёрный день и ему не объяснишь, что последние сто лет жратвы хватает всем. Для эволюции сто лет - это вообще ничего не значит
Wesha
29.06.2025 14:43Организм привык накапливать запасы на чёрный день и ему не объяснишь, что последние сто лет жратвы хватает всем.
Совершенно верно. Но, слава Сагану, у человека есть надстройка над рептильным мозгом, которая может ему сказать «кончай экономить калории,
иди в спортзалподрыгай камбаловидным мускуломпонажимай „лишние“ клавиши!»Renewal_Studio Автор
29.06.2025 14:43Простите что вмешаюсь, но позвольте, ведь нет никакого рептильного мозга? Это удобное упрощение, которое уже десятки раз доказало свою несостоятельность, но его транслируют ради простоты объяснения сложной структуры мозга
Wesha
29.06.2025 14:43Это удобное упрощение
Люблю самодостаточных людей: сам вопрос задал, сам на него и ответил!
Renewal_Studio Автор
29.06.2025 14:43Механизма нет, безусловно, но есть компенсаторные механизмы у SaaS LLM, чтобы не кушать слишком много токенов для ответов
Renewal_Studio Автор
29.06.2025 14:43Но прекрасно понимаю, мне банально лень и куда проще чуть коверкать язык, но переходить к запятой например в оборотах
Idakopas
29.06.2025 14:43ИИ, сгенерь текст с дефисами вместо тире, точки не ставь, запятых поменьше.
Кнопки «Типограф» в хабраредакторе комментария у вас нет?
Скопировать тире из соседнего текста?
Набрать тире как HTML entity через DevTools в браузере (
—для меня запомнить проще числового кода)?А есть еще сервисы типографики.
Если вы со смартфона, то понятно, я вообще не люблю с них сидеть.
Wesha
29.06.2025 14:43у меня для длинного тире нет кнопки на клавиатуре,
Кто-то вырвал у Вас на клавиатуре кнопки Alt, Num-0, Num-1, Num-5, Num-1?
Kerman
29.06.2025 14:43Я хотел фотку клавиатуры своего мака в ответ скинуть. Там вообще всратая клавишница. Даже вместо ф-блока нечто убожественное
Но это было бы нечестно, я за ним не работаю )
Wesha
29.06.2025 14:43Я хотел фотку клавиатуры своего мака в ответ скинуть.
Ну так бы и сказали — Стив Джобс!
ctenomorpha
29.06.2025 14:43Кнопки для запятой тоже на клавиатуре нет.
Wesha
29.06.2025 14:43Кнопки для запятой тоже на клавиатуре нет.
Нету, больной, нету, не нервничайте Вы так!
Zenitchik
29.06.2025 14:43Поражаюсь Вашей упёртости цепляться к такой мелочи. В верхней половине ASCII есть только минус. Его и нужно использовать во всех случаях, за исключением подготовки текста для издания.
Renewal_Studio Автор
29.06.2025 14:43Простите, уточню, вы это мне, или топикстартеру про — ?
Zenitchik
29.06.2025 14:43Простите уточню: мой коммент добавился в ветку, или в корень?
Ему, конечно.
Renewal_Studio Автор
29.06.2025 14:43В ветку, окей. Спасибо мимо-проходящий человек, узнал что на хабре можно ветки сворачивать и понимать откуда пошла дискуссия
Zenitchik
29.06.2025 14:43На хабре ещё можно случайно по ошибке вместо ответа в корень коммент написать. Потому я и спросил на всякий случай, как Вы это видите.
Kamil_GR
29.06.2025 14:43Набрал 22 из 29. Полагаю, на более длинных текстах результат был бы лучше. Но честно говоря, формализовать свое мнение будет сложно. Начитанность.
Впрочем я уже писал, что нет смысла искать ИИ в текстах, надо делить статьи на хорошие и плохие.
Renewal_Studio Автор
29.06.2025 14:43Пожалуй, я лишь исследую эту тему и не выдаю заключение что статьи плохие. Я вообще разработчик курса по gen ai для менеджеров и ai-энтузиаст, мне хочется погружаться и делиться мыслями/находками. Но вот пока что тексты от людей как-то поприятнее
Renewal_Studio Автор
29.06.2025 14:43А что для вас пример хорошей статьи? Статья выше хорошая? Если нет, то чего в ней не хватает?
Kamil_GR
29.06.2025 14:43Вполне себе статья, но ваш отказ от ИИ привел к тому, что глаз спотыкается об опечатки и ошибки.
Для меня главное новизна и интерес. Интерес - протестировал тексты ИИ не ИИ, и в принципе подтвердили мое мнение, что тексты ИИ будет всё сложнее определять. Мое мнение по поводу:
Renewal_Studio Автор
29.06.2025 14:43Ага, спасибо! Не думаю что мой отказ от ИИ привел к опечаткам. Я иногда ради вящего интереса пишу чисто сами, не используя вообще никакие подборы, исправления, подстановки, агентов и тд. Отрезвляет
ctenomorpha
29.06.2025 14:43чисто сами
Да, отрезвляет. Хорошо, что сначала в комментарии зашел, избежав "статью".
pnmv
29.06.2025 14:43для чего выяснять, человек писал, или машина, если на выходе "кг"?
если же текст хороший, тоже незачем выяснять, потому что авторство автоматически присваивается правообладателю или тому, кто напромптил.
только, где они, эти гладкие и хорошие тексты от ллм?
Renewal_Studio Автор
29.06.2025 14:43Я исследую из праздного интереса и ради удобства, единственное преимущество наверное которое мне это дает - развитие критического мышления и непринятие на веру иных материалов от разных авторов
Rorg
29.06.2025 14:43Мы всё чаще не отличаем AI от реального автора
А в чем смысл? Нет, я бы понял, если бы вы предлагали различать хорошие и плохие тексты.
Renewal_Studio Автор
29.06.2025 14:43Да ни в чем особо конкретном, я не берусь судить хорошие или плохие текста. Первую статью https://habr.com/ru/articles/918226/ написал ибо откровенно выбесили в какой-то момент на LinkedIn своими постами если длинное тире, это AI и комментарии под каждым постом вида "так это AI написал, а не вы". А этой статьей скорее просто делюсь некоторыми выводами, не более
DarthVictor
29.06.2025 14:43Мы всё чаще не отличаем AI от реального автора
Мы всё чаще не отличаем реального автора от AI
поправил
Renewal_Studio Автор
29.06.2025 14:43Окей, действительно лучше читается, спасибо!
gluck59
29.06.2025 14:43Предположу что начитанный человек (в отличие от "начитанной" LLM) сказал бы "Мы все реже отличаем..." и далее по тексту.
rybkin_kotik
29.06.2025 14:43Ну что остается... общаться вживую с людьми в оффлайне и читать старые книги. А современный креатифф потреблять, не вникая в его происхождение.
Renewal_Studio Автор
29.06.2025 14:43Старые книги весьма душевные, а живой человек может на порядок больше дать тебе впечатлений, чем запись с ним
Zenitchik
29.06.2025 14:43Некоторые. Некоторые старые книги душевные. Они прошли отбор временем и мы помним только такие. Но шлака во все времена издавалось больше, чем хороших книг.
Wesha
29.06.2025 14:43шлака во все времена издавалось больше, чем хороших книг.
Не знаю, в СССР с этим весьма активно боролся институт редакторов. Я посмотрел в оригинале некоторое количество фильмов, «прошедших советскую цензуру» и демонстрировавшихся в советских кинотеатрах — в частности, «Враг мой», «Короткое замыкание» и серию фильмов с Луи де Фюнесом (про жандарма) — и признаю, что без тех сцен, что были вырезаны, фильмы реально смотрелись лучше.
Zenitchik
29.06.2025 14:43этим весьма активно боролся институт редакторов
Охотно верю, что он существенно увеличивал долю годного по отношению к шлаку.
Renewal_Studio Автор
29.06.2025 14:43Но в целом я бы не был так категоричен. Я как заметили комментаторы выше не берусь судить о самом главное качестве сгенерированного и утилитарном "хорошие ли текста" делает AI
bstan
29.06.2025 14:43Ахахаха. Та же фигня, на самом деле. Если посмотреть на наш квиз
https://mysummit.school/ai-quiz
В определенных ситуациях это явно заметно (как в статье - нет личных деталей, много общего). Но если попросить ИИ быть специфичным (последние вопросы в Квизе), то порог угадывания сильно падает. При этом, не нужно заморачиваться, чтобы дать ответ. Достаточно задач качественный промпт поведения LLM, чтобы получать подходящие ответыRenewal_Studio Автор
29.06.2025 14:43А промпт как спасет от ухода от личных деталей или отсутствия экспозиции? Нет мяса в таком тексте, он не живой
bstan
29.06.2025 14:43
ИИ или Человек? Ну на мой взгляд, тут уже сложно узнать, где человек, а где робот
nin-jin
29.06.2025 14:43Уровень кринжа: бумер пытается говорить по зумерски.
Wesha
29.06.2025 14:43по зумерски.
Уровень кринжа: зумер не выучил урок русского языка.
nin-jin
29.06.2025 14:43Wesha
29.06.2025 14:43Знание правил не обязательно для коммуникации
Объясняю,
медленно и два раза: чистота одежды, причёсанность и отсутствие запаха изо рта не обязательны для коммуникации — однако почему-то люди обычно требуют их наличия — а при их отсутствии стараются оборвать коммуникацию при первой же возможности. Точно так же и с правописанием.Если Вас совершенно не смущает, что после общения с Вами остаётся послевкусие «а что это за недоучка был?..» — то ни в коей мере не смею тибе припясвовать, лашара пазорный. (Как Вам, нравится? Или всё-таки резко расхотелось со мной общаться?)
Так что я ни в коей мере на запрещаю, просто крайне не рекомендую. Знаете, как не рекомендуют переходить дорогу на красный свет, заплывать за буйки и стоять под грузом и стрелой.
nin-jin
29.06.2025 14:43Wesha
29.06.2025 14:43А мне, прикиньте, пофиг. Шанс, что мне что‑то от Вас когда‑либо потребуется, крайне слабо отличим от нуля, а потому какие‑либо рациональные причины стлаться перед Вами у меня отсутствуют. А так, по жизни, я — зверь простой, аки приснопамятный мальчонка из «Нового платья короля»: вижу буйню — так прямо и говорю, невзирая на чины. Да и что Вы мне можете сделать, максимум — убить.
green_fenix
29.06.2025 14:43Интересно, поменялись бы результаты если бы использовали 4.5 вместо о3?
Renewal_Studio Автор
29.06.2025 14:43Не думаю, там не прям чтобы кардинальные измения были
green_fenix
29.06.2025 14:43Вроде 4.5 считается наиболее творческой и креативной, а о* модели более нацеленными на логику
Renewal_Studio Автор
29.06.2025 14:43Ничего такого не слышал, но поковыряюсь на всякий)
green_fenix
29.06.2025 14:43Unsupervised learning increases world model accuracy and intuition. Models like GPT‑3.5, GPT‑4, and GPT‑4.5 advance this paradigm.
Scaling reasoning, on the other hand, teaches models to think and produce a chain of thought before they respond, allowing them to tackle complex STEM or logic problems. Models like OpenAI o1 and OpenAI o3‑mini advance this paradigm.
Это из официального представления 4.5. Плюс пока во всех менее официальных источниках я везде вижу что о* модели лучше всего работают с логическими задачками, кодом и прочими ситуациями где важна цепочка рассуждений и логика, а у 4.5 выше "эмоциональный iq" и креативность.
Renewal_Studio Автор
29.06.2025 14:43Попрактиковался вчера на ночь и честно говоря не увидел существенных отличий. В художественный вымысел 4.5 даже похуже идет. Но надо еще апи коллы потестить
Kapsa-sa
29.06.2025 14:43Интересно было бы сравнить результат для старой версии GPT. Думаю, раньше угадывали бы точнее
Renewal_Studio Автор
29.06.2025 14:43Ну тут оставлю на валю вашего воображения. Вообще я сперва гайд написал, а потом тест, но его скорее по приколу и не ожидал что его пройдет столько людей
burstmode
29.06.2025 14:43Прошёл щас тест, 21/29 правильно угадал. Думаю, ошибся только в очень коротких текстах, там уже человека от нейронки почти нереально отличить.
Renewal_Studio Автор
29.06.2025 14:43Да, понимаю, но тут есть проблема, что люди повсеместно ленятся и длинные тексты если давать как примеры, никто читать не будет (
andreyrl
29.06.2025 14:43Забавно, но ведь совсем скоро нейроинтеллект влёгкую может заменить кожаных)
Осталось сделать андроидов с этой начинкой, и.. привет, будущее.Renewal_Studio Автор
29.06.2025 14:43Я сомневаюсь. Если говорить по существу, нет сейчас никакого искуственного интеллекта. Это так, удобная спекуляция, которой я в том числе пользуюсь. Даже пресловутый casual reasoning это не think-mode в том смысле как происходит мышление, это скорее чуть более сложное пробегание по трансормеру
nebuloid
29.06.2025 14:43Главный итог теста: ИИ победил не в креативе, а в мимикрии под среднего человека.
Ваши данные показывают: слабость ИИ это - яркие эмоции/исповеди (но их в рабочих текстах - 5%); сила ИИ: предсказуемая рутина (описание процессов, отчёты, документация) - здесь человек проигрывает.
Это меняет правила игры: технические тексты (документация, ТЗ, мануалы) будут массово генерироваться ИИ. их 'человечность' станет бессмысленной тратой ресурсов.
Экспертный контент выживет, только если автор:
а) добавляет личный опыт (не 'я', а 'я на проекте X столкнулся с Y');
б) делится ошибками (ИИ всё ещё избегает их как огня);
в) использует актуальные аналогии (не 'как в войну', а 'как в последнем апдейте Kubernetes').P.S.: вариант стратегии для авторов: пишите так, как не способен ИИ - хаотично, дерзко, с профессиональной болью. Иначе вас спутают с ботом. Правда можно и наткнуться на 'альтернативно мыслящих' и вам карму уронят. Я из тех, кому уронили в угоду своих убеждений (как будто я не имею прав на свои. забавно).
Спасибо за тест! Заберу в копилку аргументов против 'нейросеть заменит писателей'.
Wesha
29.06.2025 14:43Главный итог теста: ИИ победил не в креативе, а в мимикрии под среднего человека.
Модель, обученная на текстах, написанных средними человеками, победила в кошении под среднего человека. Какая неожиданность! /s
Осталось самая мелочь: понять, на кой мне сдалась имитация среднего человека. Мне б лучше имитацию какого-нибудь там Эйнштейна, или на худой конец Перельмана.
nebuloid
29.06.2025 14:43Забавно, но ваш комментарий - идеальная иллюстрация результатов теста: ирония (/s) → 83% участников приписали бы это человеку (и ошиблись бы - ИИ так тоже уже умеет).
Запрос на 'гения' → Но ИИ-Эйнштейн будет лишь стилизатором, а не первооткрывателем; как если бы ChatGPT написал «E=mc²» в 1904 году - это всё равно бы никто не понял.
Суть в чем: мы упиваемся спором 'имитация vs гениальность', но проблема глубже: если ИИ незаметно заменяет рутину (а тест это подтверждает) - мы проигрываем войну за доверие.Ваш сарказм ценен ровно потому, что он нешаблонный. Но 92% корпоративных email/документов/ТЗ - шаблонны. И вот их ИИ съест первым.
P.S.: Мечтать об ИИ-Перельмане - это как ждать, что калькулятор напишет 'Цветы зла'. Не та компетенция.
Renewal_Studio Автор
29.06.2025 14:43А вы читаете сплошь гениальных людей? Зачем вам запрос на гениальность?
Wesha
29.06.2025 14:43А вы читаете сплошь гениальных людей?
К моему огромному сожалению, нет. Иногда приходится читать и Вас.
Renewal_Studio Автор
29.06.2025 14:43К чему эта пикировка? Извините если с моей стороны прозвучало грубовато, но я лишь хотел узнать кого вы читаете и что с вашей точки зрения не так с текстами и контентом от обычных людей
Wesha
29.06.2025 14:43К чему эта пикировка?
Да так, чисто поржать.
что с вашей точки зрения не так с текстами и контентом от обычных людей
Значительное количество людей более озабочено собственным ЧСВ, чем выяснением истины. Значительное количество людей требует однозначных ответов на вопросы, на которые однозначного ответа сейчас дано быть не может (ввиду отсутствия достаточного количества однозначных исходных данных) — а ответ «на данный момент прийти к однозначному выводу невозможно» их не устраивает. Значительное количество людей не готово принять ответ, который расходится с генеральной линией их партии.
Zenitchik
29.06.2025 14:43А в чём, прикол читать не гениальных? На негениальном уровне я и сам писать могу.
Renewal_Studio Автор
29.06.2025 14:43Главный итог теста: ИИ победил не в креативе, а в мимикрии под среднего человека.
Так не было цели, это не серьезное исследование к тому же с задачами и постановкой проблемы. Мне было интересно, я происледовал в меру своих способностей. Не понимаю честно говоря как вы сделали такие выводы, опрос направлен был просто на проверку +- необъективную, но понятную. Скорее даже демонстрация по фану. Как вы там усмотрели креатив не представляю
Renewal_Studio Автор
29.06.2025 14:43Ваши данные показывают: слабость ИИ это - яркие эмоции/исповеди (но их в рабочих текстах - 5%); сила ИИ: предсказуемая рутина (описание процессов, отчёты, документация) - здесь человек проигрывает.
Отчасти мой тест и эти 2 статьи показывают, что как раз если уходить от предсказуемой рутины, то люди также не отличают, если добавлять туда персональности
Renewal_Studio Автор
29.06.2025 14:43Экспертный контент выживет, только если автор:а) добавляет личный опыт (не 'я', а 'я на проекте X столкнулся с Y');б) делится ошибками (ИИ всё ещё избегает их как огня);в) использует актуальные аналогии (не 'как в войну', а 'как в последнем апдейте Kubernetes').
Это кстати легко эмулируется если вы скормите как контекст свою биографию, резюме и личностный тест с несколькими публичными переписками из какого-нибудь сообщества
Renewal_Studio Автор
29.06.2025 14:43P.S.: вариант стратегии для авторов: пишите так, как не способен ИИ - хаотично, дерзко, с профессиональной болью. Иначе вас спутают с ботом. Правда можно и наткнуться на 'альтернативно мыслящих' и вам карму уронят. Я из тех, кому уронили в угоду своих убеждений (как будто я не имею прав на свои. забавно).
Ага, или как я с кучей ошибок и странных оборотов. Соглашусь!
Renewal_Studio Автор
29.06.2025 14:43Чем меня забавляет хабр, так это тем что здесь очень явно выделена система соц рейтинга и можно человека опустить в важности его мнения просто если ты с ним не согласен или есть его позиция расходится с позицией большинства
Wesha
29.06.2025 14:43здесь очень явно выделена система соц рейтинга и можно человека опустить в важности его мнения просто если ты с ним не согласен или есть его позиция расходится с позицией большинства
Скрытый текст
Refridgerator
29.06.2025 14:43В данном тесте сложно отличить одно от другого только потому, что и там и там отсутствует контекст и смысловая нагрузка. Потому что живой адекватный человек на вопрос "почему полезно пить воду" скорее ответит "ты е$анутый?", а не то, что тут. Разве что в школе на уроке биологии можно представить себе такой диалог, потому что вслух такого учителю не скажешь. Но тогда и заголовок должен быть соответствующий.
А реальный тест - это завести отдельный аккаунт на хабре и копипастить туда ответы от жпт.
Renewal_Studio Автор
29.06.2025 14:43В данном тесте сложно отличить одно от другого только потому, что и там и там отсутствует контекст и смысловая нагрузка
Напротив, я спецально писал так чтобы это был заметно и каждый вопрос связан с конкретной темой и ее демонстриует. Но это правда непросто. У меня был выбор писать более длинные текста или оставлять короткие. Длинные никто не читал, что ж..
Renewal_Studio Автор
29.06.2025 14:43Потому что живой адекватный человек на вопрос "почему полезно пить воду" скорее ответит "ты е$анутый?", а не то, что тут
Как скажете!
Renewal_Studio Автор
29.06.2025 14:43Разве что в школе на уроке биологии можно представить себе такой диалог, потому что вслух такого учителю не скажеш
Вы не представляете как много людей пьют мало воды и не понимают в чем суть рекомендаций ВОЗ
Refridgerator
29.06.2025 14:43В таком контексте вменяемый ответ - это длинный, душный, с ссылками на статистику, голодающих детей в Африке и всё такое.
Zenitchik
29.06.2025 14:43А ещё много людей пьют воду сверх необходимости, начитавшись каких-то баек в интернете, якобы со ссылками на рекомендации ВОЗ (самих рекомендаций они не читали).
Renewal_Studio Автор
29.06.2025 14:43А реальный тест - это завести отдельный аккаунт на хабре и копипастить туда ответы от жпт
А в чем суть такого теста и что вы будете тестировать?
Refridgerator
29.06.2025 14:43Сможет ли он выдавать вменяемые комментарии (по определению короткие сообщения) с учётом текста статьи и контекста ветки обсуждения, сохранив при этом положительную карму через пару сотен сообщений.
Renewal_Studio Автор
29.06.2025 14:43Насчет длинных не знаю, но в тредсе мы с таким экспериментируем https://www.threads.com/@genai.manager пока вполне славно, иногда даже забавно
Barbie_001
29.06.2025 14:43Я думаю искусственный интеллект очень неплохо способен помогать. Именно помогать, а не делать полностью за вас. Очень даже сокращает время на выполнение какой либо задачи.
Wesha
29.06.2025 14:43Очень даже сокращает время на выполнение какой либо задачи.
Но есть нюанс.
Renewal_Studio Автор
29.06.2025 14:43Это лишь пока что. С рядом костылей и доработок приличный код вполне себе генерируется. И мир уже давно шагнул в сторону продумывания архитектуры агентов и куда дальше debate agents. Те кодинг в агентном режиме в курсоре скажем так уже устарел технологически и принципиально
Renewal_Studio Автор
29.06.2025 14:43Именно помогать, а не делать полностью за вас
Это действительно так. Однако ваш комментарий не противоречит идеи статьи. Она лишь небольшая наглядная демонстрация и продолжение предыдущей про гайд
Kerman
Тесты нужно проводить на тех областях, которые актуальны. Да, возможно, ИИ напишет похоже на слабоумного графомана короткую заметку. И это сложно будет отличить.
А давайте теперь проведём эксперимент на статьях хабра? Сколько процентов целевой аудитории отличит бессмысленную графоманию ИИ от статьи, где человек вложил скрытую мысль, а может и не одну.
И привести всё в один вид, где нет длинных тире и так любимых аишкой пунктов.
Renewal_Studio Автор
Почему на ваш взгляд область коротких текстов, в которую я целился не актуальна?
Kerman
Потому что ключевое отличие человека от ИИ не в том, что он способен написать "человеческий" текст. Человек может вложить в этот текст смысл, цель, эмоции. ИИ - не может.
Renewal_Studio Автор
Ага, понял вас! Соглашусь! Я пишу статьи на энтузиазме, мне интересно разбираться в меняющимся мире и делиться находками/размышлениями. Когда тревогой, когда вдохновением, когда чем-то невнятным
В целом ваша мысль перекликается с моей, нам гораздо интереснее получить эмоции от текста или сэманировать об автора, чем просто впитать суть
Renewal_Studio Автор
Однако как быть с прям хайпожерскими текстами, которые собраны по такой структуре, чтобы триггерить читателя, провоцируя например страх упущенной выгоды или агрессию, чтобы объяснить автору что он не прав? Или ту же зависть
Zenitchik
Здорового человека они триггерят закрыть страницу. И неважно, кто их написал, человек или ИИ. Кто бы он ни был - он врёт.
Renewal_Studio Автор
Но ведь работают, нет?)
Zenitchik
А мы продаём или покупаем?
Wesha
А «вы» — кто?
Wesha
Минусатор, как только скажете мне, кто такие «вы» — я вам сразу и скажу, продаёте вы или покупаете.
Zenitchik
А мне Ваш ответ не интересен.
OlegZH
А Вы можете быть уверены, что не разговариваете сейчас с LLM? :-)
Renewal_Studio Автор
Вы про себя или про зенитчика, или кермана?
Renewal_Studio Автор
Простите, я за что вы так с блоггерами и вообще таким форматом?
Kerman
Я не хотел обидеть слабоумных блоггеров твиттера сравнением с ИИ.
Ну правда.
Есть люди, пишущие короткие заметки, когда явно видно, что это не ии. К линкедину это не относится, да.
Я про то, что короткие заметки без смысла не имеют различимых отличий человеческих мыслей по накурке от галюнов аишки. Ну негде там искать отличия.
Renewal_Studio Автор
Тут не совсем согласен, отличий изрядное количество. Я сперва хотел как раз пойти в тему более компилятивных и длинных текстов, но откровенно не вывез. Если найду что-то похожее, но более обширное, буду рад поделиться
Renewal_Studio Автор
Честно говоря не представляю как это провести в неавтоматическом формате. А так статей навроде этой https://www.nature.com/articles/s41746-023-00819-6 навалом
Wesha
В том-то и проблема (даже в недавно предложенном на Хабре тесте с переводами): читаешь — и сильишься понять: это ИИ писал, или просто студент-недоучка?
А вы попробуйте @Milfgardправдоподобно сэемулировать!
Renewal_Studio Автор
Ого там у товарища статей