В препринте, версия которого датирована 4 ноября 2026 года и запись которого появилась на arXiv 6 ноября, предложен JPTA — метод трансдуктивной адаптации vision-language-моделей, включая CLIP, на неразмеченных пакетах изображений. Авторы предлагают корректировать семантические ориентиры модели с учётом структуры текущего пакета. Описание метода и результаты приведены в препринте на arXiv.
Как JPTA учитывает состав пакета
Авторы описывают JPTA как способ смещать семантические ориентиры в сторону структуры изображений только при наличии достаточно надёжных свидетельств в самом пакете. Метод оценивает априорные вероятности классов, строит мягкие прототипы на стороне изображений и переносит полученную информацию к семантическим ориентирам. Влияние переноса масштабируется по оценке надёжности пакета.
Такой подход рассчитан на ситуации, когда пакет охватывает лишь часть возможных классов или их доли отличаются от ожидаемых. Вместо фиксированных ориентиров авторы предлагают учитывать данные пакета, но и не заменять семантические представления CLIP без ограничений.
Какие результаты заявлены в препринте
Авторы сообщают о сравнении JPTA с TransCLIP и StatA на стандартных бенчмарках, в режимах с малым числом эффективных классов, при оценке по всем классам и в онлайн-потоках. По их утверждению, JPTA превосходил эти методы, а самые заметные выигрыши наблюдались на разреженных пакетах и при сдвиге априорных вероятностей классов.
Это заявление касается сценариев, где текущие изображения представляют лишь часть пространства меток или распределение классов в пакете смещено. В доступном тексте не приведены конкретные числовые значения метрик, поэтому величину заявленного преимущества оценить нельзя; независимого подтверждения результатов среди доступных источников нет.
Что это может изменить на практике
Для применения CLIP без разметки на меняющихся пакетах JPTA предлагает адаптировать семантические ориентиры к наблюдаемой структуре данных. Это может быть полезно, например, когда состав потока изображений меняется, а в каждом пакете присутствуют не все классы. Предложенный механизм зависит от оценки надёжности визуальных признаков и сам по себе не доказывает, что адаптация улучшит результат на конкретном наборе данных.
Таким образом, JPTA — предложенный способ учитывать состав неразмеченного пакета при трансдуктивной адаптации CLIP, сохраняя исходные семантические ориентиры как опору. Авторы также указывают в препринте адрес кода проекта, но его воспроизводимость отдельно не проверена.
