В препринте от 13 октября 2026 года исследователи представили DescribeEvent — бенчмарк для оценки того, как языковые модели предсказывают следующее событие в последовательности. Авторы сообщают, что способ представления событий влияет на результаты: сильные модели выигрывают от текстовых описаний и нейтральных символических меток, а более слабые получают от этих изменений мало пользы. Это результат исследовательского сравнения, а не подтверждение надёжности прогнозов в реальных приложениях. Препринт на arXiv.
Бенчмарк для событий с разным временным масштабом
По описанию авторов, DescribeEvent включает около 150 тысяч событий из семи наборов данных и шести областей; временные интервалы варьируются от минут до недель. Каждое событие связано с собственным описанием на естественном языке. Исследователи оценивали шесть языковых моделей в четырёх вариантах представления данных и сравнивали их с шестью моделями без LLM.
Авторы отмечают, что стандартные бенчмарки часто представляют событие как пару «тип — время», не передавая его смысл. DescribeEvent добавляет к событиям текстовые описания и позволяет проверить, меняет ли это результат предсказания.
Два изменения в представлении событий
Первый приём — описывать каждое событие естественным языком. По замыслу авторов, такое описание передаёт смысл, который теряется в краткой записи типа события и времени. В качестве примера реального контекста во введении приводится сообщение о коммите, поясняющее изменение кода.
Второй приём — использовать нейтральные символические метки вместо семантически нагруженных названий типов событий. Авторы предполагают, что привычные слова могут вызывать у модели ассоциации, не связанные с последовательностью. Описание добавляет информацию о событии, а символическая метка меняет способ обозначения его типа.
Что показывают результаты
Авторы сообщают, что сильные языковые модели выигрывают от описаний и символических меток, тогда как более слабые модели получают от них мало пользы. В экспериментах сочетание описаний и символических меток превосходит варианты LLM без описаний и базовые модели без LLM на большинстве наборов данных. Это вывод авторов препринта по их экспериментам, а не независимое воспроизведение результата.
Границы вывода
Результаты относятся к задачам и наборам данных бенчмарка DescribeEvent. Они показывают, что представление событий может влиять на качество предсказания в этих экспериментах, но не устанавливают точность прогнозов за пределами бенчмарка или их надёжность для практических решений. В опубликованном описании речь идёт о сравнении экспериментальных вариантов; оно не подтверждает универсальное преимущество такого подхода.
