Новое исследование на arXiv представляет подход к использованию LLM-агентов в вычислительной математике с интеграцией систем компьютерной алгебры (CAS), таких как SageMath. Цель — расширить возможности ИИ в решении сложных математических задач, где традиционные методы фокусировались в основном на автоформализации и доказательстве теорем.
Почему это обсуждают?
Исследователи предлагают комбинировать возможности LLM для рассуждений с верифицируемой обратной связью от SageMath. Такой подход, известный как ReAct-стиль, вместе с Context7 для актуальной документации, позволяет создавать агентов, способных решать исследовательские математические проблемы. Оценка проводилась на бенчмарке RealMath, имитируя реальный научно-исследовательский цикл.
Что подтверждено?
Интеграция SageMath продемонстрировала существенное улучшение производительности всех протестированных моделей LLM. Средний прирост составил +9.7 процентных пункта, варьируясь от 1.5 до 27.8 п.п. Это также помогло сократить разрыв в производительности между моделями с открытым и закрытым исходным кодом. Модель Qwen 3.7-Max показала наибольшую выгоду от SageMath, а GPT-5.5 достигла наивысшего показателя решения задач (75.2%) при минимальном использовании токенов среди протестированных конфигураций с инструментами.
| Punkt | Detail |
|---|---|
| Основная идея | Комбинация LLM-рассуждений и SageMath для решения математических задач |
| Результаты | Средний прирост +9.7 п.п. производительности LLM-агентов |
| Модели | Qwen 3.7-Max (максимальная выгода), GPT-5.5 (лучший результат решения) |
| Перспективы | Шаг к автоматическому открытию гипотез и поддержке математиков |
Что остается неясным?
Хотя результаты обнадеживают, дальнейшие исследования могут быть направлены на расширение спектра решаемых задач и интеграцию с другими CAS. Также интересно изучить, как такие агенты могут быть адаптированы для более широкого круга пользователей, не являющихся экспертами в программировании.
Что проверить дальше?
Стоит обратить внимание на репозиторий проекта, ссылка на который доступен онлайн, чтобы ознакомиться с деталями реализации и результатами экспериментов.