Поведенческая эквивалентность визуальных навыков — это сопоставимость результатов двух операций на общих входных изображениях. Например, так можно проверить, действительно ли два навыка обработки изображений взаимозаменяемы, прежде чем удалять один из библиотеки. Совпадение на выбранных пробах не доказывает, что результаты будут одинаковыми на любом изображении.
Сравнивают результат, а не ярлык
В препринте VisCurate: Evaluating Behavioral Equivalence of Visual Skills визуальный навык описан как операция, которая преобразует изображение на входе в изображение на выходе. Поэтому для оценки поведения нужно сравнить выходы навыков на одинаковых входных данных, а не только их названия.
Представим два навыка с названиями remove_background и background_cleanup. Один может удалять только однотонный фон, а другой — иначе обрабатывать контуры объекта или прозрачность. И наоборот, разные названия и реализации могут приводить к сопоставимому визуальному результату.
Это отличается от сравнения текстовых описаний и исходного кода: такие признаки помогают найти пары для проверки, но сами по себе не показывают, что произойдёт с конкретным изображением. Поведенческая эквивалентность — отношение между наблюдаемыми результатами, а не утверждение о внутреннем устройстве программ.
Как VisCurate сравнивает пару навыков
VisCurate запускает кандидатов на общей батарее пробных изображений: один и тот же вход проходит через первый и второй навык, после чего система сопоставляет выходы. Авторы связывают найденное отношение с одним из шести действий по очистке библиотеки.
Такой подход отделяет обнаружение сходства от решения об объединении. Если два навыка дают одинаковые результаты на пробах, один может оказаться дубликатом. Если совпадение проявляется лишь на части входов, одной общей категории операций недостаточно, чтобы считать их взаимозаменяемыми.
Пример: дубликаты в библиотеке обработки изображений
Предположим, в библиотеке есть два навыка повышения контраста. На обычной фотографии их выходы могут быть похожи. На тёмном снимке с яркими бликами один навык может усилить детали в тенях, а другой — обрезать светлые области. Сходство названий этого различия не обнаружит, тогда как сравнение выходов на таком входе может показать его.
В созданном авторами бенчмарке семь типов дефектов внесли в чистую библиотеку и получили 300 воспроизводимых экземпляров с заранее известными отношениями между навыками и действиями исправления. Это проверочная среда с заданными типами ошибок, а не случайная коллекция пользовательских запросов. Подробности эксперимента приведены в препринте VisCurate.
Такой метод может помочь при поиске дубликатов, проверке переименованных навыков и обнаружении операций, которые ошибочно считают взаимозаменяемыми. Название или описание пригодно для отбора кандидатов; решение о слиянии требует проверки того, как навыки обрабатывают общие входы.
Что показали эксперименты авторов
По данным авторов препринта, текстовые базовые методы на сложных отрицательных примерах принимали до пяти из шести ложных слияний. Их верификатор не принял ни одного из таких ложных слияний и восстановил 51,2% действительно объединяемых пар. Эти показатели относятся к описанным экспериментальным наборам, а не ко всем библиотекам визуальных навыков.
В двух реальных неочищенных библиотеках авторы сообщили, что 92% навыков, общих для пакета и его downstream-копии, оказались избыточными. При этом выполнение подтвердило 10 из 17 опубликованных утверждений об эквивалентности. Доля предполагаемых дубликатов, таким образом, не означает, что каждое утверждение о совпадении поведения подтверждается проверкой.
Авторы также сообщают, что лучший из девяти автоматизированных кураторов восстановил около половины необходимых исправлений. Поэтому VisCurate стоит рассматривать как инструмент для ревизии библиотеки, а не как гарантию, что каждое предложенное действие окажется верным. Все эти результаты принадлежат авторам препринта; независимая проверка экспериментов в доступном источнике не представлена.
Где заканчиваются выводы по пробам
Конечная батарея изображений проверяет только выбранные входы. Совпадение результатов на всех пробах не доказывает совпадение на каждом возможном размере, формате, цветовой схеме или содержании изображения: редкий случай может не попасть в тестовый набор.
Авторы определяют обычный визуальный навык как детерминированную операцию, а нейросетевые и стохастические операции рассматривают как расширение, поведение которого сложнее оценивать. Для таких операций результат может зависеть от случайности, параметров запуска и входных данных.
Поведенческая эквивалентность отвечает на вопрос, как два навыка проявили себя на общих проверочных входах. Для решения об объединении важны также покрытие тестами и последствия ошибки: этот результат не является сертификатом универсальной взаимозаменяемости.
