Проверять текст на ИИ-генерацию нужно как оценку вероятности, а не как доказательство происхождения: рабочий подход сочетает несколько детекторов, анализ истории создания текста, ручную проверку стилевых и смысловых артефактов и запрос черновиков или версии с правками. Для коротких, сильно отредактированных, переведённых, шаблонных и смешанных текстов метод даёт много ложных выводов и не подходит как единственное основание для санкций.
Короткий ответ
Если вам нужно понять, был ли текст, вероятно, сгенерирован ИИ, не начинайте с вопроса «какой процент покажет детектор». Начинайте с вопроса «какой уровень уверенности мне нужен и что я буду делать с результатом». Для редакторской проверки обычно достаточно оценки риска. Для учебных, кадровых, юридических и комплаенс-сценариев одной автоматической проверки недостаточно.
Надёжнее всего работает связка из четырёх слоёв:
- Автоматические сигналы. Прогоните текст через два независимых детектора и сравните не только общий вывод, но и подозрительные фрагменты.
- Проверка происхождения. Посмотрите историю версий, черновики, комментарии редактора, таймстемпы и последовательность правок.
- Ручная экспертиза. Ищите не «стиль ИИ» вообще, а конкретные признаки: пустые обобщения, неестественно ровную структуру, однотипные переходы, фактическую гладкость без источников, странные повторы.
- Контекст автора и задачи. Сравните текст с предыдущими работами того же автора и с требованиями жанра. Служебная записка, SEO-статья, пресс-релиз и студенческое эссе выглядят по-разному даже без ИИ.
Ограничения принципиальны. Детекторы ошибаются на хорошем человеческом тексте, на неидеальном языке, на переводах, на формульных документах и на тексте после сильной редакторской переработки. Кроме того, современный текст часто бывает смешанным: человек берёт черновик ИИ и глубоко переписывает его. В таком случае вы проверяете не «кто написал», а «какова доля и роль машинной генерации в процессе».
Что понадобится
Для практической проверки нужен не сложный стек, а дисциплина фиксации сигналов. Минимальный набор выглядит так:
| Инструмент или источник | Зачем нужен | Где слабое место |
|---|---|---|
| GPTZero | Второе независимое вероятностное мнение по документу и фрагментам | Нельзя использовать как доказательство; результат зависит от жанра и редактуры |
| Copyleaks AI Content Detector | Сравнение общего вывода с локальными участками текста | Высокий риск ложных срабатываний на шаблонных и технических текстах |
| Google Docs | История версий, темп написания, поэтапность правок | Помогает только если текст действительно писался в документе, а не вставлялся целиком |
| Microsoft Word | Правки, комментарии, режим рецензирования | Следы легко теряются, если документ пересохраняли или вставляли как чистый текст |
| Шаблон заметок | Фиксация сигналов, чтобы решение не зависело от впечатления | Требует дисциплины и одинаковых критериев для всех проверок |
Ещё до начала проверки зафиксируйте цель. Если вы редактор, вам обычно нужен вывод вида: «низкий риск», «смешанный текст», «высокий риск, нужны подтверждения». Если вы преподаватель или руководитель, добавьте правило эскалации: при высоком риске запрашиваются черновики, устное объяснение текста или повторное выполнение задания в контролируемой среде.
Пошаговый план
- Зафиксируйте проверяемую версию. Сохраните текст в том виде, в котором он поступил на проверку. Если позже автор внесёт правки, у вас останется базовая версия для сравнения. Это важно, потому что детекторы чувствительны даже к небольшой редактуре.
- Определите жанр и норму для этого жанра. Техническая инструкция, юридический шаблон, пресс-релиз или учебное эссе имеют разную плотность терминов, разную повторяемость структуры и разный уровень формульности. Без этого вы рискуете принять нормальные жанровые признаки за следы ИИ.
- Соберите признаки происхождения текста. Попросите автора показать черновик, историю версий, комментарии, план, использованные источники. Для добросовестного автора это часто самый сильный оправдывающий сигнал. Для подозрительного кейса отсутствие любых промежуточных следов не доказывает использование ИИ, но повышает риск.
- Разбейте текст на смысловые блоки. Проверять только целый документ недостаточно. Прогоните отдельно вступление, середину и вывод или крупные абзацы. У смешанных текстов нередко именно отдельные блоки оказываются типично машинными, а остальное написано человеком.
- Запустите два независимых детектора. Смотрите не только итоговую метку, но и совпадение подозрительных фрагментов. Если один сервис помечает текст как вероятно машинный, а второй нет, не выбирайте «победителя». Это сигнал к ручной проверке и анализу происхождения.
- Проведите ручную экспертизу текста. Ищите конкретные паттерны. Для ИИ-характерных фрагментов типичны безопасные обобщения без новой информации, одинаковый ритм абзацев, повторяющиеся конструкции вроде «важно отметить», «следует учитывать», «в современном мире», гладкие переходы без фактической нагрузки, чрезмерно симметричные списки аргументов, слабая привязка к задаче пользователя. Отдельно проверяйте факты: машинный текст часто звучит уверенно даже там, где должен был бы сослаться на источник или оговорить неопределённость.
- Сравните с образцами того же автора. Если есть доступ к прежним работам, смотрите не общий «уровень качества», а устойчивые привычки: длину предложений, тип вводных конструкций, характер примеров, пунктуацию, структуру аргументации. Резкая смена профиля письма сама по себе не доказывает использование ИИ, но усиливает подозрение, если совпадает с другими сигналами.
- Проверьте устойчивость вывода. Удалите заголовки, списки и цитаты, затем прогоните текст снова. Потом, наоборот, проверьте только спорные абзацы. Если вывод держится только на одном фрагменте, формулируйте результат как локальный риск, а не как свойство всего документа.
- Сделайте вывод в терминах риска, а не в терминах вины. Формулировка должна быть воспроизводимой: какие автоматические сигналы совпали, какие ручные признаки обнаружены, что известно о происхождении текста и чего не хватает для окончательного вывода.
Шаблон вывода: «Текст показывает средний риск машинной генерации: два детектора выделяют одни и те же фрагменты, в них есть однотипные обобщения и слабая фактическая конкретика. История правок не предоставлена. Этого недостаточно для доказательства, но достаточно, чтобы запросить черновики или повторное выполнение задания».
Такой формат помогает избежать главной ошибки: превращения вероятностной проверки в псевдоэкспертизу с категорическим вердиктом.
Типичные ошибки
- Опора на один детектор. У любого сервиса свои перекосы. Один любит подозревать академический стиль, другой плохо различает перевод и генерацию, третий переоценивает шаблонные формулировки.
- Проверка без контекста. Один и тот же текст может выглядеть подозрительно как эссе и нормально как корпоративная инструкция.
- Попытка получить бинарный ответ. На практике важнее не «ИИ или человек», а «насколько высок риск, что значимая часть текста произведена или существенно сформирована ИИ».
- Игнорирование редактуры. Человеческая доработка может сгладить явные машинные следы, а жёсткая редактура живого автора может, наоборот, сделать текст похожим на машинный.
- Проверка слишком короткого текста. Чем меньше материала, тем выше роль случайности и жанровых клише. Одного абзаца почти всегда недостаточно для надёжного вывода.
- Наказание без процедуры подтверждения. Если решение влияет на оценку, доступ, публикацию или репутацию, должны быть заранее описаны критерии, журнал проверки и возможность автора дать объяснение.
Ещё одна частая ошибка — считать хорошую грамотность или ровный стиль признаком ИИ. Для профессионального автора, редактора, переводчика или сотрудника пресс-службы это нормальные свойства текста. Подозрителен не «слишком хороший» текст, а совокупность неестественных признаков при отсутствии следов нормального процесса работы.
Как проверить результат
Хорошая проверка должна быть воспроизводимой. Если другой редактор возьмёт ту же версию текста и тот же набор критериев, он должен прийти хотя бы к близкому уровню риска. Для этого полезно фиксировать результаты в простой матрице:
| Тип сигнала | Что повышает риск | Что снижает риск |
|---|---|---|
| Детекторы | Совпадают по подозрительным фрагментам | Дают разные выводы или выделяют разные места |
| Стиль и структура | Повторы, пустые обобщения, симметричная аргументация без фактов | Есть неровности живого письма, локальные правки, авторские примеры |
| Фактическая ткань | Уверенные формулировки без источников и без привязки к задаче | Есть проверяемые ссылки, локальный опыт, следы подбора материала |
| Происхождение | Нет черновиков, нет истории правок, текст появился сразу целиком | Есть поэтапное написание, комментарии, промежуточные версии |
| Сравнение с автором | Резкий разрыв с прежними работами без объяснения | Профиль письма в целом совпадает, отличие можно объяснить жанром или редактурой |
- Повторите проверку на фрагментах. Если риск держится только на одном блоке, помечайте именно его.
- Сравните с контрольными текстами. Возьмите один заведомо человеческий текст того же жанра и один явно сгенерированный черновик по близкой теме. Это не даст абсолютной нормы, но покажет, не переоцениваете ли вы жанровую формульность.
- Проведите короткое собеседование с автором. Попросите объяснить, почему текст устроен именно так, откуда взялись примеры, как отбирались источники, почему выводы сформулированы в такой последовательности. Автор, который писал текст сам, обычно уверенно ориентируется в логике построения.
- Проверьте правдоподобие процесса создания. Наличие черновика, нарастающей детализации, комментариев самому себе и обычных редакторских сомнений часто говорит больше, чем любой процент в детекторе.
Если после всех шагов остаётся сомнение, честный вывод звучит так: «данных недостаточно». Для профессиональной практики это лучше, чем ложная определённость. Особенно важно это там, где ошибка дорого стоит: в образовании, HR, модерации экспертных материалов и расследованиях нарушений политики публикации.
FAQ
Можно ли доказать, что текст написал ИИ?
Обычно нет, если у вас только сам текст и вывод детектора. Можно лишь оценить вероятность и собрать косвенные признаки процесса создания. Более сильные доказательства появляются, когда есть история версий, журнал запросов, черновики или признание автора.
Какой процент детектора считать порогом?
Универсального порога нет. Один и тот же процент в разных сервисах означает разное, а результаты зависят от языка, жанра и редактуры. Практически полезнее смотреть на совпадение нескольких сигналов и на то, какие именно фрагменты сервис считает подозрительными.
Работает ли это для русского языка?
Да, но осторожно. Качество распознавания зависит от того, на каких данных обучался конкретный сервис и как он обрабатывает морфологию, синтаксис и жанровые особенности русского текста. Поэтому для русского особенно важно не полагаться на один инструмент.
Что делать со смешанным текстом, где автор правил черновик ИИ?
Это отдельный класс кейсов. В таких случаях корректнее оценивать не происхождение всего текста, а роль ИИ в процессе. Проверяйте по фрагментам, запрашивайте версии документа и формулируйте вывод как «частично машинная генерация» или «сильная машинная опора», если для этого есть основания.
Помогает ли история правок?
Да, часто это самый практичный источник. Поэтапное появление структуры, уточнение фактов, перенос абзацев, замены формулировок и комментарии автора лучше показывают реальный процесс письма, чем итоговая гладкость текста. Но история правок не является абсолютным доказательством: текст можно сначала сгенерировать, а потом долго редактировать.
Чем ИИ-текст отличается от плохого перевода или слабого автора?
Они действительно похожи по некоторым симптомам: общие фразы, странные переходы, повторяемость. Отличие обычно в структуре ошибок. Плохой перевод чаще оставляет следы кальки и локальных смысловых сбоев. Слабый автор даёт неровность и неустойчивую логику. ИИ чаще produces ровную, уверенную, но поверхностную аргументацию. На практике различать это нужно только в связке с контекстом и происхождением текста.