Speculative decoding, Medusa и EAGLE: как ускоряют вывод LLM
Обзор трёх линий ускорения вывода LLM из окна 2023–2024: классического speculative decoding, Medusa и EAGLE. Разбираем механику, цифры, гарантии точности...
Тема COMRAD404
Исследования искусственного интеллекта — страница 10
Глубокие исследования искусственного интеллекта: разборы papers, моделей, бенчмарков, безопасности, регулирования и механизмов работы.
Claude 3: как Anthropic догнала GPT-4 в марте 2024 года
Разбираем, что на самом деле показал релиз Claude 3 от 4 марта 2024 года: где Opus вышел на уровень GPT-4,...
Llama 3.1 405B: действительно ли открытые веса догнали фронтир
23 июля 2024 года Meta выпустила Llama 3.1 405B и заявила, что открытая модель уровня frontier наконец сравнялась с закрытыми...
Semantic entropy: как ловить галлюцинации у LLM
Разбираем работу Oxford OATML и Nature 2024 о semantic entropy — методе, который оценивает неопределённость LLM по смыслу ответов и...
Contextual Retrieval: как Anthropic снизила ошибки поиска в RAG
Разбор Contextual Retrieval от Anthropic: зачем добавлять к каждому чанку короткий машинно-сгенерированный контекст, как это влияет на embeddings, BM25 и...
Model Context Protocol (MCP): как устроен «USB-порт» для ИИ-инструментов
Разбираем, что именно стандартизует Model Context Protocol, как в нём устроены tools, resources и prompts, и чем запуск Anthropic в...
Claude 3.5 Sonnet и Computer Use: агент за рулём ПК по скриншотам
22 октября 2024 Anthropic показала Computer Use — режим, в котором Claude 3.5 Sonnet работает с GUI по скриншотам. Разбираем...
SWE-bench Verified: как работал главный тест ИИ-программистов
Разбираем, как устроен SWE-bench Verified: из чего он вырос, что именно измерял у coding-агентов, почему его цифры часто сравнивали некорректно...
Open-R1, s1 и TinyZero: как в 2025 году пытались повторить DeepSeek-R1 задёшево
Исторический обзор волны января–марта 2025: чем Open-R1, s1 и TinyZero на самом деле «повторяли» DeepSeek-R1, где сработали дистилляция и test-time...
Галлюцинации неизбежны? Что доказывает формальный аргумент Xu et al.
Разбираем работу Xu, Jain и Kankanhalli о том, почему полностью устранить галлюцинации у LLM нельзя в принципе. Что именно доказывает...