Контрактные тесты для вызова инструментов LLM: как поставить релизный барьер в CI
Практическая схема проверки вызовов инструментов в AI-агентах: контракты на основе JSON Schema, метрики выбора функций и аргументов, негативные сценарии, повторные...
Тема COMRAD404
LLM — страница 4
372 материалов
OpenAI назвала prompt injection одной из главных угроз для ИИ-агентов
OpenAI выпустила разбор атак prompt injection и методов защиты от них. Для разработчиков главный вывод прежний: модель нельзя считать доверенным...
Как измерить стоимость AI-агента: пошаговый метод расчёта затрат на токены, вызовы и время выполнения
Разбираем практический метод оценки стоимости работы AI-агента: от токенов на промпт и генерацию до затрат на tool calling и время...
Как оценить стабильность tool calling в LLM: практический чеклист с примерами на Python
Tool calling — ключевой механизм для AI-агентов, но он подвержен сбоям: модель может пропустить вызов, передать неверные параметры или вызвать...
Foundries против Navigators: где ИИ удешевляет лабораторную науку
Адриан Сэнборн из Endura Therapeutics разделил научные AI-компании на «фабрики», ускоряющие физические измерения, и «навигаторы», которые используют LLM для анализа...
Вышел llm-typesafe 0.1a0 — плагин для LLM с поддержкой модели Jev от TypeSafe AI
Саймон Уиллсон выпустил плагин llm-typesafe 0.1a0, который добавляет в инструмент LLM поддержку новой модели Jev от TypeSafe AI. Плагин позволяет...
Nokia открыла AnyJev — слой для решений на базе LLM без дообучения
AnyJev превращает открытую языковую модель в классификатор с фиксированными вариантами ответа. Библиотека оценивает вероятности без генерации текста и предлагает два...
Как оценивать качество tool calling в LLM: метрики, сценарии и CI-проверки
Tool calling — ключевой механизм для AI-агентов, но без системной оценки он остаётся источником ошибок. Разбираем метрики, тестовые сценарии и...
Контрактные тесты для tool calling: как ловить ошибки агентов до релиза
Контрактное тестирование проверяет три критичных слоя tool calling: выбор функции, аргументы и порядок вызовов. Разбираем набор сценариев, пороги для CI...
Как проверить tool calling в LLM перед продакшеном: сценарии, метрики и CI-интеграция
Tool calling — ключевой механизм, превращающий LLM из генератора текста в исполнителя действий. Но до продакшена каждый вызов инструмента нужно...