Policy version: 2026-07-13 · FR

Transparence des benchmarks et de la précision du modèle

Objectif : Divulgation des performances de détection conforme FTC et alignée sur la loi européenne sur l'IA
Version : 1.0 · Dernière mise à jour : 2026-06-16
Statut : Pilote interne hold-out publié — validation tierce prévue


Avis important

Les scores TrustOriginality sont des signaux forensiques probabilistes, pas des garanties. Nous ne prétendons pas à une « détection IA à 100 % » ni à un « détecteur approuvé par l'UE ». Utilisez les sorties comme aide à la décision avec révision humaine pour les décisions à conséquences.

Méthodologie

Élément Politique
Jeux d'évaluation Corpus hold-out propriétaires par modalité (origine humaine vs généré/manipulé par IA)
Métriques Précision, rappel, F1 au seuil opérationnel ; taux de faux positifs (FPR) ; taux de faux négatifs (FNR)
Seuil Seuil d'ensemble par défaut isAIGeneratedLikely
Rapports Tableaux par modalité ; JSON lisible par machine à /data/model-benchmark-results.json

L'ensemble image inclut SigLIP ONNX (Ateeqq/ai-vs-human-image-detector, poids 1.3) plus heuristiques forensiques, C2PA et détecteurs de filigrane.

Évaluation interne publiée (juin 2026)

Validé par un tiers : Non — benchmark indépendant en cours.

Modalité n Precision Recall F1 FPR FNR Notes
Image 248 86% 81% 83% 14% 19% Fort sur diffusion courante ; JPEG/recadrage lourd dégrade
Texte 312 91% 76% 83% 9% 24% Texte plus long plus stable ; éditions hybrides plus difficiles
Audio 186 83% 77% 80% 17% 23% Clones vocaux ; bruit téléphonique réduit le rappel
Vidéo 142 80% 74% 77% 20% 26% Échantillonnage de frames ; clips de moins de 3 s moins fiables

Modes d'échec connus

  1. Générateurs nouveaux non représentés dans les données d'entraînement
  2. Post-traitement adverse (recompression, filtres, régénération partielle)
  3. C2PA supprimé ou manifestes falsifiés (Verify Suite signale les contradictions ; n'empêche pas toute fraude)
  4. Entrées courtes (tweets, vignettes)
  5. Décalage de domaine (imagerie médicale, satellite — pas domaines d'entraînement primaires)

Comparaison aux allégations marketing

Allégation Autorisée ?
« Prend en charge les workflows loi européenne sur l'IA Art. 50 » Oui — avec pack conformité
« Détection probabiliste avec piste d'audit signée » Oui
« 100 % précis » / « infaillible » Non — risque FTC
« Approuvé par le gouvernement de l'UE » Non — aucun tel registre
« Preuve recevable en justice » Non — l'examen d'expert peut utiliser les rapports comme un input

Reproductibilité

  • L'API renvoie runId, JSON de preuves et PDF signé par analyse
  • URL de vérification : GET /verify/{runId} (dépendant de l'hôte)
  • Clé de certificat imprimée en pied de page du PDF
  • JSON : https://trustoriginality.ai/data/model-benchmark-results.json

Calendrier de mise à jour

  • Révision trimestrielle ou après sortie majeure de modèle
  • Prochaine étape : benchmark indépendant tiers sur corpus deepfake publics

Connexes

  • legal/ANNEX-IV-TECHNICAL-DOCUMENTATION.md
  • legal/ACCEPTABLE-USE-POLICY.md
  • Préparation panneau : /Compliance/Readiness