Datasette получила плагин потокового экспорта в Apache Arrow

Плагин datasette-arrows 0.1a0 добавляет экспорт из Datasette в Apache Arrow IPC. Уиллисон приводит команду установки и объясняет различие интерфейса между основной веткой и последним на тот момент релизом.

Datasette получила плагин потокового экспорта в Apache Arrow. Тематическая карточка Comrad404.

18 ноября 2026 года Саймон Уиллисон сообщил о выпуске datasette-arrows 0.1a0 — плагина для экспорта из Datasette в формате Apache Arrow IPC. Автор указывает команду установки и описывает, как плагин подключается к механизму потокового экспорта. Источник: запись Саймона Уиллисона о выпуске.

Как устроен потоковый экспорт

По словам Уиллисона, в Datasette 1.0a43 появилась возможность реализовывать потоковые форматы экспорта с помощью хука register_output_renderer(). Встроенные CSV и TSV передают данные частями: автор отмечает, что так таблицы можно экспортировать, не загружая их целиком в память. Плагин datasette-arrows добавляет к этому механизму формат Arrow IPC.

Как установить

В записи приведена команда datasette install datasette-arrows. Уиллисон пишет, что после установки в диалоге экспорта появляется вариант Arrow. Это описание автора релиза, а не результат независимого тестирования плагина.

В интерфейсе есть различия между версиями

Уиллисон уточняет, что показанный им диалог относится к основной ветке Datasette. В последнем на момент публикации релизе потоковые форматы, включая Arrow, ещё не были сгруппированы с CSV и TSV в разделе «All rows in this table»; автор ожидал это изменение в следующей альфа-версии. Поэтому расположение опции зависит от версии Datasette. В доступных материалах нет независимого испытания плагина или отдельного подтверждения его совместимости.