Hugging Face выпустила tokenizers v1: токенизация стала в десятки раз быстрее
Новая версия библиотеки tokenizers от Hugging Face обещает ускорение до десятков раз за счёт SIMD-инструкций, кэширования повторяющихся токенов и отказа...
Тема COMRAD404
NLP
7 материалов
Wolof и арабский: новый параллельный корпус MudawanSn для машинного перевода
Исследователи представили MudawanSn — золотой стандарт параллельного корпуса для пары языков волоф — современный стандартный арабский. 1271 предложение из новостного...
Аудит предвзятости ИИ: все инструменты находят дискриминацию, но не могут согласовать рейтинг моделей
Исследователи проверили десять инструментов аудита предвзятости на десяти frontier-моделях. Вывод: детекция работает, но ранжирование моделей по степени предвзятости невозможно —...
Классический NLP без обучения сжимает промпты на 40%: новый подход к снижению затрат на LLM
Исследователи представили детерминированный пайплайн лексического сжатия промптов, не требующий обучения и GPU. Метод позволяет сократить токены на 40% с минимальной...
Большой контекст побеждает гиперкоррекцию: новый SOTA для GEC без дообучения
Исследователи представили метод, позволяющий LLM исправлять грамматические ошибки с точностью, почти не уступающей тонко настроенным моделям, используя только промпты и...
R²Adapter: адаптер для гибридного RAG без лишних затрат
На arXiv появилась статья, в которой описывается R²Adapter — легковесный адаптер, динамически распределяющий запросы между vanilla RAG и graph-based RAG....
Fastino выпускает GLiNER2.5: архитектура границ заменяет перебор сущностей в информационном извлечении
Новая версия GLiNER отказывается от перебора всех возможных фрагментов текста в пользу предсказания границ сущностей. Это снимает ограничение на длину...