Des milliers d'images peuvent être publiées. La modération ne peut pas toutes les vérifier manuellement.
L'objectif était de mettre en place un premier niveau de filtrage automatique capable d'identifier rapidement les contenus potentiellement problématiques avant leur traitement par la modération humaine.
Modérer à mesure que le volume augmente
Quand les utilisateurs peuvent publier des images, le volume de contenu peut rapidement dépasser les capacités d'une modération entièrement manuelle.
Un premier niveau de filtrage automatique
Un pipeline d'analyse automatisé
L'API expose les capacités de détection au reste de la plateforme afin que la modération puisse être intégrée directement dans le parcours de publication.
Chaque image publiée passe par une chaîne de traitement automatisée, de la réception du fichier jusqu'à la décision d'action.
Une API REST sécurisée expose la détection au reste de la plateforme.
L'IA filtre. L'humain décide.
Le système de détection ne remplace pas une modération humaine, mais permet un filtrage préliminaire efficace.
Les contenus à faible risque suivent leur parcours normal. Les contenus à risque élevé sont orientés vers une modération humaine, qui conserve la décision finale.
Analyser sans ralentir l'expérience utilisateur.
La modération automatique ne doit pas devenir elle-même un point de friction. L'analyse s'intègre dans le parcours de publication, sans interruption visible pour l'utilisateur.
Une contrainte d'expérience, pas un chiffre marketing.
Classifier plutôt que simplement bloquer
Le système ne produit pas uniquement un verdict « OK / pas OK » : il retourne des scores par catégorie, que la plateforme exploite ensuite selon ses propres règles.
La plateforme peut alors décider : publier · signaler · bloquer · envoyer en revue humaine.
Un modèle d'IA ne suffit pas
La détection constitue une brique technique. La véritable valeur vient de son intégration dans le processus de modération : scores, seuils, règles métier et workflow humain.
Un réseau social, une marketplace, une communauté ou un site de petites annonces n'auront pas nécessairement les mêmes exigences.
Le système permet d'adapter les seuils de décision au contexte de la plateforme et à son public.
Une architecture conçue pour absorber les volumes
Le système doit pouvoir traiter quelques images comme des milliers, y compris des traitements simultanés.
Les analyses sont réparties entre plusieurs workers, ce qui permet d'absorber les pics de publication sans dimensionner l'infrastructure au maximum en permanence.
Traitement asynchrone · workers · cloud · autoscaling.
S'intégrer au stockage existant.
L'analyse peut être intégrée au pipeline de stockage de la plateforme afin d'éviter de reconstruire toute l'infrastructure existante.
L'objectif est d'ajouter une brique, pas de remplacer le système.
Une IA doit aussi être surveillée
Un système de modération automatisé n'est pas « installé puis oublié ». Ses performances doivent pouvoir être observées et ajustées.
L'automatisation ne signifie pas l'absence de contrôle
Les modèles de classification peuvent produire des faux positifs ou des faux négatifs. La modération humaine reste donc nécessaire pour les cas ambigus et pour faire évoluer les règles.
C'est un signal de maturité : l'IA prend en charge ce qu'elle fait bien, et laisse le jugement aux humains.
Une IA intégrée à un produit, pas une démonstration technologique
L'enjeu n'était pas simplement de reconnaître une image. Il était d'intégrer cette capacité dans un processus de publication et de modération existant.
Ce projet démontre notre capacité à…
La même approche peut s'appliquer à d'autres contenus
Le principe d'une chaîne de classification automatisée peut être adapté à différents besoins de modération et de contrôle de contenu.
Le modèle et les règles sont adaptés au contexte métier.