Регрессионное тестирование промптов: ИИ-модель в роли читателя пропустила три из четырёх текстов, которые я правил
Публикации с тегом llm-as-a-judge
Как мы запустили ИИ-ревьюера на 4000 PR в день — и какие баги он находит +28
- Блог компании Яндекс
- Блог компании Yandex Cloud & Yandex Infrastructure
- Машинное обучение
- Искусственный интеллект
- Тестирование IT-систем
Как проверяющий ИИ испортил правильные ответы: разбор генератора учебных заданий
Гейт зелёный, а полезные результаты теряются: три ошибки в LLM-конвейере +3
ИИ-агент вместо тестировщика: 20 копеек за диалог и причина, почему вас не заменит llm +11
Как оценивать качество LLM, RAG и AI‑агентов: метрики, тестирование и LLM‑as‑a‑Judge +2
7 ошибок в оценке качества LLM‑систем в продакшене +7
Шесть LLM‑судей из четырёх лабораторий несут 1,9 независимого голоса из 6 +6
LLM-судье нельзя верить на слово: как построить надёжный гейт и проверить сами тесты +4
Детектор был прав, разметка врала: как мы искали слепую зону LLM-судей и нашли ошибки в эталоне +3
Гибель богов. Fable и ещё 10 LLM реорганизуют код. Сравнение +10
- Проектирование и рефакторинг
- Искусственный интеллект
- Машинное обучение
- Python
- Natural Language Processing
Собрал ИИ-бенчмарк под себя из 2 месяцев своих сессий — и дорогие модели проиграли дешёвым +2
LLM-судья для нейроразбора резюме на hh +7
LongConspectWriter: автоматическая генерация структурированных конспектов лекций на потребительском GPU +7
Когда чат-бот продаёт Chevrolet за доллар: как тестировать и мониторить LLM-приложения +2
- Блог компании Конференции Олега Бунина (Онтико)
- Машинное обучение
- Тестирование IT-систем
- Natural Language Processing
