Как тестировать tool calling в LLM: метрики, сценарии и проверки в CI
Практическое руководство по регрессионному тестированию tool calling: проверяем выбор функции, аргументы, отказ от лишнего вызова и порядок действий, а затем...
Последние публикации
Об авторе
Как тестировать tool calling в LLM перед продакшеном: набор кейсов, метрики и CI
Tool calling ломается не как обычный API: модель может выбрать не тот инструмент, пропустить вызов или передать валидный JSON с...
ИИ-апокалипсис для рабочих мест: глобальный опрос Pew Research подтвердил самые мрачные ожидания
Крупнейшее за последние годы международное исследование Pew Research Centre, охватившее 42 151 респондента в 37 странах, показало: большинство жителей планеты...
Агентам ИИ нужен не только аудит: почему лаборатории сначала должны закрыть сеть
Инциденты с автономными агентами выглядят не столько как загадочная потеря контроля над ИИ, сколько как провал базовой сетевой изоляции. Внешний...
Открытый AI-Q от NVIDIA обходит проприетарные аналоги на DeepResearch Bench: что внутри стека на Llama Nemotron
NVIDIA опубликовала открытый эталонный агент AI-Q, построенный на двух Llama-моделях. Он занял первое место на бенчмарке DeepResearch Bench, обойдя закрытые...
Goose против Claude Code: бесплатна оболочка, но не сама ИИ-разработка
Открытый агент Goose действительно способен заменить часть сценариев Claude Code и работать с локальной моделью без подписки. Но равенство функций...
Математики требуют от OpenAI доказать происхождение новых результатов
Подтверждений кражи неопубликованных идей пока нет. Но ответы OpenAI не исключают, что обезличенные диалоги исследователей могли повлиять на модели, а...
Уйти от целей: почему добродетельная рациональность может стать ключом к безопасному ИИ
Автор эссе в The Gradient утверждает, что рациональные люди не имеют «целей» — и рациональный ИИ не должен их иметь....
MosaicLeaks: сможет ли ваш исследовательский агент хранить секреты?
Исследование MosaicLeaks показывает неприятный парадокс: чем лучше агент решает многошаговые задачи, тем больше контекста он способен вынести во внешние поисковые...
Flint: язык визуализации, который пытается научить ИИ думать о смысле графика
Microsoft Research представила Flint — открытый промежуточный язык для создания графиков. Он оставляет человеку и ИИ компактное описание смысла визуализации,...
Orchard от Microsoft: открытая инфраструктура для обучения агентных ИИ-систем
Microsoft Research представила Orchard — Kubernetes-фреймворк, который выносит окружение агентов в отдельный сервис и позволяет обучать модели прямо внутри реальных...
Как настроить Prettier в VS Code: форматирование при сохранении и правила проекта
Для предсказуемого форматирования нужны две установки: расширение Prettier в VS Code и пакет Prettier внутри проекта. Расширение связывает форматтер с...