AI Detection Benchmark + Skill Architecture

Бенчмарк: GPTZero vs ZeroGPT vs Grammarly

Итоговый рейтинг для broker reviews (YMYL/finance)

Веса: API Accessibility 25% | Accuracy 25% | Cost Efficiency 20% | Output Granularity 15% | Integration Ease 15%. Рейтинг — editorial assessment для нашего конкретного use case (10-50 broker reviews/мес, финансовый контент). editorial

Визуальное сравнение по ключевым метрикам

* Grammarly 99.9% — результат RAID benchmark (контролируемый датасет). В real-world тестах accuracy значительно ниже. GPTZero 99.3% — Chicago Booth 2026 (academic study). ZeroGPT ~77% — среднее из independent reviews.

Trustpilot: рейтинги и отзывы

Данные собраны 2 апреля 2026. Распределение по звёздам — оценка по первой странице отзывов, точные процентные разбивки по всем отзывам approximate. Количество отзывов и TrustScore verified с trustpilot.com.

Подробное сравнение

Жалобы и похвалы по темам

Характерные цитаты из отзывов

Grammarly AI Detection: полное исследование

Обзор

Grammarly запустил AI detection в августе 2024 как часть writing suite. RAID benchmark score: 0.999 (#1, tied с GiantMelon и Veredict Labs). Дополнительно: Grammarly Authorship (отслеживание происхождения текста) и AI Humanizer (сент. 2025).

API (Beta) Enterprise only

API workflow (3 шага)

1. POST /ai-detection          → получить score_request_id + pre-signed S3 URL
2. PUT  {pre-signed URL}        → загрузить документ (120 сек timeout)
3. GET  /ai-detection/{id}      → poll результата (PENDING / COMPLETED / FAILED)

Пример ответа API

{
  "score_request_id": "...",
  "status": "COMPLETED",
  "score": {
    "average_confidence": 0.89,
    "ai_generated_percentage": 0.5
  }
}

Обратите внимание: ai_generated_percentage = decimal 0-1 (не 0-100). Нет per-sentence breakdown. Нет classification (human/mixed/ai). Нет confidence level per sentence.

Ценообразование

Проблема для нашего use case: API pricing не публичен. Для доступа к API нужно Enterprise соглашение (минимум ~$15/user/мес при 150+ пользователях estimate). Для одного разработчика / небольшой команды API недоступен.

Accuracy: RAID vs Reality

Ограничения (критичные для нас)

1. Только английский для AI detection (grammar check поддерживает 22 языка)
2. Нет per-sentence highlighting — только общий % документа. Невозможно понять, какие именно абзацы вызвали flag
3. Непоследовательность: один и тот же текст может показать 0%, 35%, 90% в разные дни
4. Собственные AI-suggestions могут вызвать собственный detector — парадокс для пользователей Grammarly
5. Слабость на mixed content: тексты с human + AI editing — основной real-world сценарий
6. API в Beta — может измениться, нет SLA, нет SDK

Сводная таблица: 30+ параметров

Архитектура Writer + Checker: 6 паттернов

Анализ различных подходов к организации двух скиллов: /broker-writer (генерация) и /broker-checker (проверка). Исследованы практики CI/CD, multi-agent frameworks (LangGraph, CrewAI, Google ADK), и production content pipelines.

/broker-pipeline {slug}
  1. Invoke /broker-writer {slug}
  2. Invoke /broker-checker {slug}
  3. If NEEDS_CHANGES and iteration < 3:
     → Invoke /broker-writer {slug} --revise
     → Goto step 2
  4. If APPROVED or max_iterations:
     → Invoke ZeroGPT API check
     → Notify human for final QA

Сводная матрица паттернов

* Monolith: self-review не является genuine review. Подтверждено практикой review-channel-egor/ — Codex (independent reviewer) ловит ошибки, которые Claude (writer) пропускает.

Рекомендация: поэтапная стратегия

AI Detection: поэтапный выбор

Grammarly — когда использовать

Финансовая модель при масштабе

Все расчёты — estimate. Учтены re-checks (2x среднее), не учтены Claude API costs (зависит от модели подписки).

* Grammarly Enterprise pricing не публичен. Требует sales call. Минимум ~$15/user/мес при 150+ пользователях. Для малых команд — экономически не оправдан только ради AI detection.

Break-even: ZeroGPT → GPTZero

Источники