В препринте версии 1 от 18 ноября 2026 года авторы представили VisAlloc — метод распределения визуальной супервизии при обучении мультимодальных языковых моделей. Он сочетает отбор примеров, где доступ к нужной области изображения влияет на ответ, с усилением обучения на отдельных токенах. Авторы сообщают средние значения 81,44 и 84,92 на восьми бенчмарках для моделей с 4B и 9B параметрами соответственно. Описание метода и результатов в препринте на arXiv — это публикация авторов, а не независимая оценка.
Сначала метод отбирает обучающие примеры
VisAlloc предназначен для on-policy self-distillation: студент генерирует ответ, который затем используется в обучении с помощью учителей. На уровне примеров фиксированный фильтр оставляет случаи, когда ответ верен при подаче положительного кропа, сосредоточенного на релевантном свидетельстве, но неверен при подаче пространственно смещённого отрицательного кропа. По описанию авторов, так отбираются примеры, где доступ к нужной области изображения влияет на правильность ответа.
Дополнительная супервизия зависит от токена
На уровне токенов два EMA-учителя оценивают один и тот же ответ студента. Разница абсолютных логарифмических вероятностей используется как мера чувствительности токена к виду изображения; дополнительная супервизия также может направляться на токены, для которых расходятся распределения учителей. Авторы описывают общие фильтры для отбора токенов: среди них — сравнение с замороженным априорным распределением, контроль шаблонных биграмм и расхождения между студентом и учителем.
Во время вывода достаточно студента
Дополнительный вес перераспределяется с учётом частоты токенов, при этом его общий объём сохраняется внутри каждого micro-batch. Положительный учитель остаётся единственным источником цели дистилляции. Согласно описанию авторов, при выводе используется только студент, которому подают полное изображение; два учителя участвуют в процессе обучения, а не в каждом пользовательском запросе.
Какие результаты приводят авторы
Авторы сообщают, что на восьми бенчмарках модели VisAlloc с 4B и 9B параметрами получили макросредние 81,44 и 84,92 соответственно. В их сравнении с воспроизведениями Vision-OPD преимущество составляет 0,97 пункта для модели 4B и 0,52 пункта для модели 9B. Это результаты, заявленные авторами препринта. В доступном описании нет разбивки по каждому бенчмарку, поэтому по приведённым средним нельзя определить, на каких отдельных задачах VisAlloc выигрывает или уступает.
Что показывают эти данные
VisAlloc меняет распределение обучения в двух местах: фильтрует примеры по зависимости ответа от релевантной области изображения и усиливает супервизию на отобранных токенах. Препринт сообщает агрегированные результаты и сравнение с воспроизведениями Vision-OPD, но в рассмотренном описании нет независимой оценки или разбивки результатов по отдельным наборам. Поэтому заявленные средние сами по себе не показывают переносимость метода на другие модели и данные.








