В препринте от 14 октября 2026 года авторы из MIT Lincoln Laboratory Supercomputing Center описали бенчмарк одиннадцати способов создания образов SquashFS из наборов, содержащих от тысяч до миллионов мелких файлов. Они варьировали формат исходных данных, место сборки и число потоков сжатия. Для пользователей HPC это помогает понять, какие условия авторы включили в сравнение; выбрать по доступному тексту самый быстрый вариант нельзя.
Авторы объясняют задачу тем, что параллельный доступ к сотням тысяч и более мелких файлов может создавать большую нагрузку на серверы метаданных центральных параллельных файловых систем. Если набор доступен только для чтения, его можно упаковать в образ SquashFS. Это рассматриваемый авторами подход для таких наборов, а не рекомендация для любых данных и сценариев.
Какие условия вошли в бенчмарк
В аннотации перечислены три фактора сравнения. Первый — исходный вид данных: tar.gz, zip или отдельные файлы и каталоги. Второй — место создания образа: центральная файловая система или локальное хранилище вычислительного узла. Третий — число потоков сжатия SquashFS. Авторы сообщают, что сравнили одиннадцать workflow для наборов от тысяч до миллионов очень мелких файлов.
Такой план показывает, что создание образа зависит не только от числа файлов: имеет значение, как набор поступил на систему, где выполняется сборка и сколько потоков сжатия задействовано. Пользователю кластера эти факторы пригодятся при сопоставлении своей процедуры подготовки данных с условиями бенчмарка.
Зачем упаковывать мелкие файлы
Когда множество задач параллельно обращаются к большому числу отдельных файлов, нагрузка может приходиться на серверы метаданных общей файловой системы. SquashFS позволяет представить набор только для чтения как сжатый образ. Это объясняет, почему авторы изучают такой способ подготовки данных для HPC и ИИ-задач, но само описание не устанавливает, насколько он ускорит конкретную рабочую нагрузку или разгрузит конкретную систему.
Что известно о результатах
Аннотация сообщает, что статья содержит результаты бенчмарков и рекомендации пользователям HPC. Однако доступный для разбора текст обрывается до этих результатов: в нём нет времён сборки, победившей конфигурации или конкретных рекомендаций. Поэтому выбрать лучший workflow или оценить выигрыш по нему нельзя. Для разбора чисел и рекомендаций нужен полный текст препринта.
Источник: препринт «Creating SquashFS Images to Support HPC and AI Datasets» на arXiv, версия v1 от 14 октября 2026 года. В статье указана аффилиация авторов с MIT Lincoln Laboratory Supercomputing Center.
