Оценка LLM-приложений в LangSmith: трассировка, датасеты и регрессионные тесты
Практический разбор LangSmith для команд, которым нужно находить ошибки в цепочках LLM, сравнивать версии приложения и проверять изменения до релиза.
Последние публикации
Об авторе
Anthropic заявила об открытии Claude новой системы с CRISPR-подобными повторами
Агенты Claude проанализировали более 200 тысяч обратных транскриптаз и выделили систему ART в геномах бактериофагов. Ее функция пока неизвестна, а...
Ежедневное использование ИИ не снижает тревогу американцев — опрос Gallup
Около 68% американцев, использующих ИИ каждый день, обеспокоены последствиями технологии. Опрос Gallup по заказу Microsoft показывает: частое использование не гарантирует...
OpenAI представила MentalHealthBench для проверки ответов ИИ о психическом здоровье
OpenAI сообщила о MentalHealthBench — бенчмарке с участием экспертов, который предназначен для оценки полезности и безопасности ответов ИИ в реалистичных...
Microsoft Research предложила выносить ИИ-инференс с роботов на внешние GPU
Microsoft Research сравнила бортовой, периферийный и облачный инференс в задачах мобильной робототехники. По данным авторов, внешние GPU ускоряют планирование и...
OpenAI привлекла независимую группу из девяти математиков для оценки ИИ-результатов
Независимая группа AGMAI будет консультировать OpenAI по проверке и публикации математических результатов, полученных с помощью ИИ. Участники не получают оплату...
Nokia открыла AnyJev — слой для решений на базе LLM без дообучения
AnyJev превращает открытую языковую модель в классификатор с фиксированными вариантами ответа. Библиотека оценивает вероятности без генерации текста и предлагает два...
Контрактные тесты для tool calling: как ловить ошибки агентов до релиза
Контрактное тестирование проверяет три критичных слоя tool calling: выбор функции, аргументы и порядок вызовов. Разбираем набор сценариев, пороги для CI...
Prompt caching для LLM: как сэкономить до 90% токенов и ускорить ответы в реальных приложениях
Prompt caching позволяет повторно использовать префиксы запросов, снижая потребление токенов и задержку в 2–10 раз. Разбираем реализацию в API OpenAI,...
Саймон Уиллисон объяснил, когда AI-агентам нужен MCP
Терминальный агент с открытым доступом к сети может вызывать API напрямую. Но для продукта, где нужно ограничивать доступ к сервисам...
Xiaomi MiMo-V2.6-Pro 1T-A42B: новая вершина среди открытых моделей за $3 млн
Китайский производитель смартфонов Xiaomi неожиданно выпустил сильнейшую открытую модель с 1,02 трлн параметров, обогнав признанных лидеров индустрии. Модель обучалась всего...
GitHub открыл всем пользователям обновлённую страницу пул-реквестов
GitHub завершил публичное тестирование обновлённой страницы пул-реквестов. Интерфейс с новыми возможностями поиска и фильтрации стал доступен всем пользователям.