These documents are template-level information for transparency. They are not certified legal translations or lawyer-approved equivalents in every language. For binding advice, consult qualified counsel. Enterprise customers receive executed MSA, Order Form, and counter-signed DPA — see Enterprise contracting.

Policy version: 2026-07-13 · DE

Modell-Benchmark und Genauigkeitstransparenz

Zweck: FTC-sichere, EU-KI-Gesetz-konforme Offenlegung der Erkennungsleistung
Version: 1.0 · Zuletzt aktualisiert: 2026-06-16
Status: Interner Hold-out-Pilot veröffentlicht — Validierung durch Dritte geplant

Wichtiger Hinweis

TrustOriginality-Scores sind probabilistische forensische Signale, keine Garantien. Wir behaupten nicht „100 % KI-Erkennung“ oder „EU-zugelassener Detektor“. Verwenden Sie Ausgaben als Entscheidungsunterstützung mit menschlicher Überprüfung für folgenreiche Entscheidungen.

Methodik

Element Richtlinie
Evaluierungssätze Proprietäre Hold-out-Korpora pro Modalität (menschlich vs. KI-generiert/manipuliert)
Metriken Precision, Recall, F1 am Betriebsschwellenwert; False-Positive-Rate (FPR); False-Negative-Rate (FNR)
Schwellenwert Standard-Ensemble-Schwellenwert isAIGeneratedLikely
Berichterstattung Tabellen auf Modalitätsebene; maschinenlesbares JSON unter /data/model-benchmark-results.json

Das Bild-Ensemble umfasst SigLIP ONNX (Ateeqq/ai-vs-human-image-detector, Gewicht 1.3) sowie forensische Heuristiken, C2PA und Wasserzeichendetektoren.

Veröffentlichte interne Evaluierung (Juni 2026)

Durch Dritte validiert: Nein — unabhängiger Benchmark in Arbeit.

Modalität n Precision Recall F1 FPR FNR Anmerkungen
Bild 248 86% 81% 83% 14% 19% Stark bei gängiger Diffusion; starkes JPEG/Zuschnitt verschlechtert
Text 312 91% 76% 83% 9% 24% Längerer Text stabiler; hybride Bearbeitungen schwieriger
Audio 186 83% 77% 80% 17% 23% Voice Clones; Telefonrauschen senkt Recall
Video 142 80% 74% 77% 20% 26% Frame-Sampling; Clips unter 3s weniger zuverlässig

Bekannte Fehlermodi

  1. Neue Generatoren, die nicht in den Trainingsdaten vertreten sind
  2. Adversariale Nachbearbeitung (Rekompression, Filter, teilweise Regenerierung)
  3. Entferntes C2PA oder gefälschte Manifeste (Verify Suite markiert Widersprüche; verhindert nicht allen Betrug)
  4. Kurze Eingaben (Tweets, Thumbnails)
  5. Domänenverschiebung (medizinische Bildgebung, Satellit — keine primären Trainingsdomänen)

Vergleich mit Marketingaussagen

Aussage Erlaubt?
„Unterstützt EU-KI-Gesetz Art. 50-Workflows“ Ja — mit Compliance-Paket
„Probabilistische Erkennung mit signiertem Audit-Trail“ Ja
„100 % genau“ / „narrensicher“ Nein — FTC-Risiko
„Von der EU-Regierung genehmigt“ Nein — kein solches Register
„Gerichtlich zulässiger Beweis“ Nein — Expertenprüfung kann Berichte als einen Input nutzen

Reproduzierbarkeit

  • API liefert runId, Evidenz-JSON und signiertes PDF pro Analyse
  • Verify-URL: GET /verify/{runId} (hostabhängig)
  • Zertifikatsschlüssel im PDF-Fußbereich gedruckt
  • JSON: https://trustoriginality.ai/data/model-benchmark-results.json

Aktualisierungsplan

  • Vierteljährliche Überprüfung oder nach größerem Modellrelease
  • Als Nächstes: unabhängiger Drittanbieter-Benchmark auf öffentlichen Deepfake-Korpora

Verwandt

  • legal/ANNEX-IV-TECHNICAL-DOCUMENTATION.md
  • legal/ACCEPTABLE-USE-POLICY.md
  • Panel-Bereitschaft: /Compliance/Readiness