В первой части мы рассмотрели ключевые проблемы логического рассуждения в LLM и показали, в чём именно модели ошибаются.
Во второй части узнали, какие существуют методы решения LLM логических задач, а также посмотрели на их сильные и слабые стороны.
В этой – мы обсудим, как модели иногда идут вразрез с собственной логикой и что эксперты предпринимают, чтобы это исправить.
Логическая согласованность
В первую очередь, под логической согласованностью понимают способность модели не противоречить самой себе, своей базе знаний или логическим правилам. Способность рассуждать дедуктивно без противоречий называют самосогласованностью. Современные LLM всё ещё часто дают противоречивые ответы и не умеют полностью согласовывать свои знания.
Чтобы это исправить, разрабатываются методы, повышающие логическую согласованность моделей. В данном разделе авторы рассматривают разные виды согласованности и способы её улучшения и оценки.
1. Согласованность отрицаний
Одним из базовых типов логической согласованности является согласованность при отрицании. Проще говоря, это означает, что одно утверждение и второе, противоположное ему, не могут быть одновременно верными. Так, одна из версий модели LLaMa отвечает «Да» и на вопрос: верно ли, что альбатрос – живой организм, и на вопрос: верно ли, что альбатрос НЕ живой организм.
Чтобы исправить это, были разработаны специальные методы. Один из них – Beliefbank, слой памяти, где сохраняются ответы модели на разные вопросы. Затем алгоритм выявляет противоречия и корректирует ответы с учётом контекста и предыдущих знаний (см. рис 1).
Другой подход – ConCoRD. Модель сначала создаёт несколько вариантов ответов на каждый вопрос, проверяет их на согласованность между собой и с логическими выводами, а затем выбирает наиболее согласованный и подходящий вариант (см. рис. 2).
В целом, большинство современных методов согласованности при отрицаниях работают по схожему принципу: сначала фиксируются ответы модели, потом проверяется их логическая совместимость, и на основе этого корректируются финальные ответы (см. рис. 3).
2. Согласованность следствий
Согласованность следствий означает, что, если из одного утверждения логически следует другое, модель должна это учитывать. Другими словами, LLM должна следовать правилу «если А, то Б». Так, если известно, что «всё железо – металл», модель не может одновременно утверждать «этот материал – железо» и «этот материал – не металл».
Эта форма согласованности тесно связана с методом Chain-of-Thought (CoT) (подробнее в части 1), где каждая цепочка – это своего рода логическое следствие. Если модель нарушает такие следствия, ответы, основанные на объяснениях, становятся неточными.
Чтобы исправить это, используют метод Maieutic Prompting. Он не ограничивается одним объяснением, а создаёт несколько выводов, которые поддерживают и «да», и «нет». Эти выводы превращаются в логические правила, и алгоритм выбирает самый правильный ответ, чтобы модель не нарушала логику следствий (см. рис. 4).
3. Согласованность по цепочке следствий
Согласованность по цепочке следствий показывает, как связаны между собой три утверждения. Если известно, что «A → B» и «B → C», то логично заключить, что «A → C». Модели часто нарушают это правило и дают противоречивые ответы. Например, модель Macaw отвечает «Да» на вопросы: птица ли воробей и есть ли у птиц лапы, но при этом говорит «Нет» на вопрос: есть ли у воробья лапы. Первые два ответа подсказывают, что у воробья должны быть лапы, а отрицательный ответ нарушает простое логическое правило транзитивности.
Чтобы исправить такие ошибки, используют логические правила транзитивности и симметрии. На их основе модели создают дополнительные утверждения: если известно, что «Цунами делает древесину влажнее» и «Влажная древесина подвержена большему выветриванию», то автоматически выводится: «Если цунами происходит, будет ли больше выветривания?». Эти новые утверждения добавляются в тренировочные данные, а при обучении модели применяется специальный метод, который проверяет согласованность, чтобы ответы были логичными и по цепочкам следствий, и по симметрии.
4. Фактическая согласованность
Фактическая согласованность означает то, насколько ответы модели совпадают с реальными фактами и знаниями о мире. В задачах проверки фактов система сверяет ответы модели с достоверными источниками информации и ищет логические ошибки или неточности.
Чтобы улучшить согласованность моделей при сложных запросах, исследователи предложили систему, основанную на технологии Retrieval-Augmented Generation (RAG). В ней используется специальная логическая метрика, которая помогает оценивать правильность логических связей в ответах модели.
Также в исследовании показано, что современные языковые модели часто ошибаются в логических рассуждениях при работе с данными из графов знаний. Для решения этой проблемы применили дообучение модели с использованием графов знаний, чтобы она лучше понимала связи между фактами. Чтобы ускорить и упростить процесс обучения, использовался метод QLoRA, позволяющий экономно дообучать большие модели.
В результате модель стала лучше справляться со сложными задачами, требующими логически последовательных и более точных ответов (см. рис. 5).
5. Составная согласованность
Составная согласованность означает, что модель должна сохранять логику, когда соединяет несколько фактов в одно рассуждение. Каждый шаг при этом должен соответствовать правилам логики, а итог – быть непротиворечивым.
Чтобы добиться этого, используют метод Logically Consistency LLMs (LoCo-LMs), который обучает модель соединять факты и правила в единую систему, проверяя, чтобы выводы были логически и фактически верными (см. рис. 6).
Также предложены способы измерения такой согласованности – по тому, насколько модель соблюдает последовательность рассуждений (транзитивность), не путается при изменении порядка (коммутативность) и сохраняет смысл при отрицаниях.
Главная цель – чтобы модель не просто знала факты, а умела логично связывать их между собой.
Подытожим. LLM уже умеют многое, но с логикой у них пока не всё гладко.
В первой части мы увидели, какие именно ошибки они допускают и почему. Во второй – как разные подходы помогают им рассуждать осознаннее: через решатели, подсказки и обучение на логических примерах. А в третьей – как модели стараются не запутаться в собственных выводах и держать ответы согласованными.
В целом, направление активно развивается: модели становятся всё «умнее» и ближе к тому, чтобы рассуждать по-настоящему логично.