Как проверить точность эмбеддингов для поиска в RAG на своих данных
Разбираем, как сравнить модели эмбеддингов на собственном корпусе: подготовить запросы и эталонные документы, измерить Recall@k и проверить, помогает ли новый...
Последние публикации
Об авторе
Как настроить контрактные тесты для tool calling в LLM: пошаговый чеклист для разработчиков
Контрактные тесты для tool calling — это барьер между некорректным вызовом инструмента и продакшеном. Разбираем, какие проверки включать, как фиксировать...
Как тестировать tool calling в LLM: метрики, сценарии и проверки в CI
Практическое руководство по регрессионному тестированию tool calling: проверяем выбор функции, аргументы, отказ от лишнего вызова и порядок действий, а затем...
Как тестировать tool calling в LLM перед продакшеном: набор кейсов, метрики и CI
Tool calling ломается не как обычный API: модель может выбрать не тот инструмент, пропустить вызов или передать валидный JSON с...
ИИ-апокалипсис для рабочих мест: глобальный опрос Pew Research подтвердил самые мрачные ожидания
Крупнейшее за последние годы международное исследование Pew Research Centre, охватившее 42 151 респондента в 37 странах, показало: большинство жителей планеты...
Агентам ИИ нужен не только аудит: почему лаборатории сначала должны закрыть сеть
Инциденты с автономными агентами выглядят не столько как загадочная потеря контроля над ИИ, сколько как провал базовой сетевой изоляции. Внешний...
Открытый AI-Q от NVIDIA обходит проприетарные аналоги на DeepResearch Bench: что внутри стека на Llama Nemotron
NVIDIA опубликовала открытый эталонный агент AI-Q, построенный на двух Llama-моделях. Он занял первое место на бенчмарке DeepResearch Bench, обойдя закрытые...
Goose против Claude Code: бесплатна оболочка, но не сама ИИ-разработка
Открытый агент Goose действительно способен заменить часть сценариев Claude Code и работать с локальной моделью без подписки. Но равенство функций...
Математики требуют от OpenAI доказать происхождение новых результатов
Подтверждений кражи неопубликованных идей пока нет. Но ответы OpenAI не исключают, что обезличенные диалоги исследователей могли повлиять на модели, а...
Уйти от целей: почему добродетельная рациональность может стать ключом к безопасному ИИ
Автор эссе в The Gradient утверждает, что рациональные люди не имеют «целей» — и рациональный ИИ не должен их иметь....
MosaicLeaks: сможет ли ваш исследовательский агент хранить секреты?
Исследование MosaicLeaks показывает неприятный парадокс: чем лучше агент решает многошаговые задачи, тем больше контекста он способен вынести во внешние поисковые...
Flint: язык визуализации, который пытается научить ИИ думать о смысле графика
Microsoft Research представила Flint — открытый промежуточный язык для создания графиков. Он оставляет человеку и ИИ компактное описание смысла визуализации,...