Тема COMRAD404

AI-инфраструктура — страница 17

576 материалов

Модель знала ответ, но молчала: исследователь показал, как ИИ управляет гранью между знанием и отказом

Исследователь продемонстрировал, что языковая модель может содержать правильный ответ на токенном уровне, но не выдавать его из-за работы отдельного «шлюза...

Как оценивать стабильность контекста в LLM-агентах: разбор метрик, уязвимостей к «забыванию» и методов проверки

Разбираем, как измерять сохранение контекста в автономных LLM-агентах при длительных сессиях, почему стандартное окно токенов не гарантирует устойчивость рассуждений и...

Real-SWE: Новый бенчмарк проверяет AI-агентов на реальных корпоративных кодовых базах

Разработчики представили Real-SWE — бенчмарк, который тестирует AI-модели на приватных, коммерческих кодовых базах. В отличие от синтетических задач, здесь используются...

ИИ-агенты учатся изучать среду до получения задач: новый подход без syllabus

Исследователи формализовали задачу предварительной подготовки среды без знания целевых заданий. Мета-агент с архивом превзошёл фиксированные методы на пяти из шести...

GoatCode v2.1.10: терминальный AI-агент с автоматическим переключением провайдеров и кэшированием промптов

Вышел GoatCode v2.1.10 — open-source терминальный AI-агент, который умеет переключать LLM-провайдера прямо во время сессии при падении квоты, не теряя...

Агенты ИИ должны не просто выполнять задачи, но и быть устойчивыми: новый взгляд на оценку

arXiv:2609.10724. Исследователи предлагают оценивать ИИ-агентов не только по успешности выполнения задач, но и по двум новым параметрам: операционная устойчивость и...

Bastiontrace: инструмент криминалистики для AI-агентов, подвергшихся промпт-инъекции

Bastiontrace анализирует JSONL-трейсы вызовов инструментов AI-агента, находит следы промпт-инъекции, определяет точку входа, заражённые вызовы и конечное запрещённое действие. Инструмент не...