Кэширование ответов LLM: безопасный ключ, срок хранения и проверка
Практическое руководство по кэшированию ответов LLM: что включить в ключ, как учитывать пользователей и изменяемые данные и когда результат нужно...
Тема COMRAD404
API
56 материалов
Mistral Large 4: Le chonk — превью модели с триллионом параметров и открытыми весами в конце месяца
Mistral опубликовала превью Mistral Large 4 — 1 трлн параметров, 49 млрд активных, тренировка на 3800 NVIDIA Grace Blackwell. Модель...
Cloudflare начала учитывать HTTP-заголовок Vary при кэшировании
Поддержка Vary устраняет один из давних рисков для приложений, которые возвращают HTML или JSON в зависимости от заголовков запроса. Для...
OpenAI остановила кампанию по краже рассуждений, но та же атака неделями работала в Azure
Исследователи показали, что после блокировки извлечения скрытого хода мыслей в API OpenAI, атака воспроизводилась на Microsoft Azure вплоть до конца...
Появление жёстких бюджетных лимитов у AWS и Google Cloud: защита от перерасхода средств кодинг-агентов
AWS и Google Cloud внедряют жёсткие ограничения расходов для проектов, работающих с платными API и вычислительными сервисами. Нововведение особенно важно...
GitHub завершил переход на stateless-токены для GitHub App — токены стали длиннее, а API надёжнее
GitHub завершил поэтапное внедрение stateless-формата токенов установки для GitHub App. Новые токены в формате ghs_APPID_JWT теперь выдаются по умолчанию, их...
Сколько стоит tool calling в AI-агенте: расчёт для GPT-4o, Claude 3.5 Sonnet и Gemini 2.0 Flash
Цена tool calling складывается из токенов в описаниях инструментов, аргументах функций, результатах API и истории диалога. Разбираем модель расчёта, сравниваем...
GitHub расширил SecurityAdvisory GraphQL API: пять новых полей и фильтры для баз данных уязвимостей
GitHub добавил в SecurityAdvisory GraphQL API пять новых полей и два фильтра, позволяя читать данные из Advisory Database без переключения...
Как проверить, не утекают ли токены через tool calling: практический чеклист для разработчиков
Tool calling в LLM — удобный механизм, но он может стоить дороже, чем кажется. Разбираем, как измерить реальный расход токенов...
Семантическое кэширование для AI-агента: как снизить затраты на токены без потери качества ответов
Разбираем, как работает семантическое кэширование в AI-агентах: какие библиотеки и подходы реально снижают расход токенов, где возникают ложные срабатывания и...