Как измерить качество промпта: практический гайд по метрикам и бенчмаркам
Разбираем, какие метрики и бенчмарки позволяют объективно оценить качество промпта, как избежать субъективных оценок и какие инструменты использовать для автоматического...
Тема COMRAD404
LLM — страница 5
372 материалов
Как тестировать tool calling в LLM: метрики, сценарии и проверки в CI
Практическое руководство по регрессионному тестированию tool calling: проверяем выбор функции, аргументы, отказ от лишнего вызова и порядок действий, а затем...
LoRA на аблейтированной модели: наследуемое поведение или результат дообучения? Разбор кейса
Инженер протестировал LoRA-адаптер, обученный на модели Qwen с удалённым механизмом отказа. Результат: улучшение по целевой задаче оказалось статистически незначимым, а...
Как проверить tool calling в LLM перед запуском: тесты, метрики и CI
Практическая схема проверки tool calling перед запуском AI-агента: тестовый набор, валидация аргументов, оценка цепочек вызовов, негативные сценарии и автоматический прогон...
Исследование поискового поведения LLM-агентов: кто, как и зачем ищет в интернете
Учёные впервые проанализировали полный цикл веб-поиска четырёх популярных LLM-платформ: ChatGPT, Claude, Grok и DeepSeek. Выяснилось, что частота обращений к поиску...
Как протестировать tool calling в LLM до продакшена: сценарии, метрики и автоматическая проверка
Практическая методика проверки tool calling в AI-агентах: синтетические сценарии, валидация аргументов, тесты цепочек, обработка ошибок и критерии допуска в продакшен.
OpenAI представила HealthBench: новый бенчмарк для оценки медицинских ИИ-моделей
Компания OpenAI анонсировала HealthBench — открытую систему оценки больших языковых моделей в реальных медицинских сценариях, разработанную при участии более 250...
Как оценивать стабильность контекста в LLM-агентах: разбор метрик, уязвимостей к «забыванию» и методов проверки
Разбираем практические методы оценки стабильности контекста у LLM-агентов. Анализируем метрики деградации памяти, проблемы «забывания» в длинных сессиях, бенчмарки и подходы...
LLM под микроскопом: как OCR-шум убивает точность извлечения данных из документов
Новый бенчмарк наглядно демонстрирует, что даже лучшие open-source LLM (Gemma, Qwen2.5, DeepSeek) резко теряют качество при работе с реальным OCR....
Рефлексивное когнитивное выравнивание: новый фреймворк для LLM-агентов когнитивной стимуляции пожилых
Исследователи представили фреймворк RCA, который сочетает синтез диалогов (STaR-CS) и рефлексивное когнитивное выравнивание для LLM-агентов, проводящих когнитивную стимуляционную терапию (CST)...