Один удачный ответ не показывает, как Copilot поведёт себя на той же задаче после изменения навыка, пользовательского агента или MCP-инструмента. GitHub предлагает для этого Copilot Evals: разработчик задаёт реалистичную задачу и признаки хорошего результата, а затем повторяет проверку и сравнивает запуски. Публичный предварительный доступ компания объявила 17 ноября 2026 года. В анонсе GitHub описаны возможности инструмента, но не опубликованы результаты независимых испытаний.
Какой вопрос решает eval
GitHub называет eval повторяемой проверкой поведения ИИ: пользователь ставит агенту реалистичную задачу, описывает хороший результат и оценивает как итог, так и то, как агент к нему пришёл. Практический вопрос — не только смог ли Copilot однажды выполнить задачу, но и что изменилось в поведении после настройки.
Например, для агента, который исправляет дефект, задача может состоять в поиске и устранении конкретной ошибки. Разработчик может отдельно указать, что решение должно устранять дефект, а несвязанный код — оставаться нетронутым. Это пример постановки проверки, а не опубликованный GitHub шаблон или список обязательных полей.
Почему важно повторять ту же проверку
GitHub отмечает, что ответы ИИ могут различаться от запуска к запуску. Поэтому единичный удачный результат не показывает, насколько хорошо работает настройка. Компания предлагает после изменения навыка, агента или MCP-инструмента повторно выполнить ту же eval-проверку и посмотреть на поведение, которое важно разработчику.
Для осмысленного сравнения полезно сохранять задачу и критерии неизменными. Если вместе с настройкой поменять и задание, и мерку успеха, будет сложнее понять, с чем связано различие. Это практический вывод из описанного подхода, а не гарантия инструмента: проверка показывает только выбранный сценарий и сама по себе не охватывает все задачи проекта.
Что показывает Copilot Evals
По анонсу, в Copilot Evals можно создавать проверки для навыка, пользовательского агента или MCP-инструмента в проекте. GitHub сообщает, что инструмент показывает пройденные и проваленные проверки, помогает выяснить причину провала и позволяет сравнивать запуски до и после изменения. Перед запуском требуется одобрение пользователя. Движком оценки компания называет Vally — расширяемый локальный инструмент.
Такой результат может указать на расхождение между ожидаемым и полученным поведением в конкретной проверке. Но отметка о прохождении относится к заданной задаче и критериям: она не доказывает общего улучшения Copilot и не показывает, что непроверенные сценарии не пострадали. В анонсе также не раскрыты подробности методики оценивания.
Как составить проверку для сравнения
GitHub не перечисляет точные поля интерфейса eval. Следующие шаги — редакционная схема, которая помогает сформулировать сравнение, а не инструкция по заполнению конкретной формы продукта:
- Опишите задачу: укажите конкретную работу агента в контексте проекта.
- Определите хороший результат: задайте признаки успеха, которые можно сопоставить между запусками.
- Укажите важные условия процесса: например, запрет на изменения частей проекта, не связанных с задачей.
- Повторите ту же проверку: после изменения настройки сравните результат по прежним критериям.
В примере с исправлением дефекта критерии должны отличать устранённую ошибку от предположения о её причине. Если важно не менять несвязанный код, это условие следует обозначить явно. Чем расплывчатее задача и критерии, тем труднее интерпретировать результат проверки.
Доступ и пределы выводов
GitHub заявляет публичный предварительный доступ для планов Copilot Individual, Business и Enterprise. Установку компания предлагает в Visual Studio Code, Copilot CLI и приложении GitHub Copilot. Это информация из анонса, а не независимая проверка работы инструмента в каждом окружении.
Публикация не приводит численных результатов испытаний, подробной методики построения проверок или независимой оценки точности. Поэтому по ней нельзя установить, насколько хорошо Copilot Evals различает успешное и неуспешное поведение, или утверждать, что он гарантирует отсутствие регрессий. Практическая польза описанного метода — возможность сравнить поведение на задачах, выбранных самим разработчиком. Вывод ограничен качеством этих задач и критериев; для изменений, затрагивающих разные сценарии, одной проверки недостаточно.







