Auditeur & planificateur de tests A/B
Significativité de votre test A/B — avant de déployer, je vous dis la vérité.
SKILL.md au standard ouvert agentskills.io — utilisable directement dans Claude, ChatGPT/Codex, Cursor, Copilot, etc.
Auditeur & planificateur de tests A/B est un skill IA d'expérimentation : un calcul de significativité et audit de test A/B qui vérifie significativité statistique, taille d'échantillon et sample ratio mismatch (fréquentiste ou bayésien) et donne un verdict clair déployer / attendre / itérer.
Ce que fait ce skill
- Planification : taille d’échantillon, durée, plausibilité du MDE (binaire & continu)
- Audit de résultats avec checklist de validité (sample ratio mismatch, peeking, puissance, nouveauté, qualité des données)
- Analyse fréquentiste (test z/Welch-t, intervalle de confiance, correction des comparaisons multiples)
- Analyse bayésienne (postérieur, P(B>A), intervalle crédible, perte attendue)
- Rapport sur les garde-fous et (à titre exploratoire) les segments
- Recommandation claire Déployer / Attendre / Itérer avec impact business
- Traite des indicateurs agrégés OU des données CSV/événements brutes
Description
Auditeur & planificateur de tests A/B est un skill pour des tests A/B statistiquement solides — il planifie et audite vos tests avec toute la rigueur nécessaire, détecte les pièges cachés comme le sample ratio mismatch et donne une recommandation claire ship/hold/iterate. La plupart des tests A/B sont mal planifiés ou mal lus — échantillons trop petits, peeking, puissance insuffisante ou splits de tracking cassés. Un test déployé à tort coûte du chiffre d’affaires réel. Ce skill apporte une rigueur d’analyste à toute équipe : il planifie en amont la taille d’échantillon et la durée, vérifie la validité des tests terminés (SRM, peeking, puissance, nouveauté, garde-fous), calcule la significativité + l’intervalle de confiance/crédible + la perte attendue, et traduit le tout en une décision de déploiement claire — sans diplôme de stats.
Exemples
Ce qu’il ne fait pas
- N’invente pas d’idées d’optimisation ni d’hypothèses
- Pas de design de funnel ni de landing page
- Pas de textes publicitaires ni de visuels
- Pas de benchmarks sectoriels (« 3 %, c’est bien ? »)
Compatibilité & technique
- Testé (interne)
- 3 scénarios
- Runtime recommandé
- Avec un outil de code/analyse (Claude Analysis, ChatGPT Data Analysis) pour des stats exactes ; fonctionne aussi sans, alors avec des approximations signalées.
- Modes
- Planification · Audit
- Entrées
- Indicateurs agrégés · Données CSV/événements
- Format de sortie
- Rapport Markdown (verdict, contrôles de validité, statistiques, recommandation)
- Sous-catégorie
- Expérimentation / tests A/B
- Licence
- Proprietär
Profil de sécurité
S’exécute entièrement chez toi avec ta propre IA — aucun runtime externe, aucun coût récurrent.
Uniquement instructions, modèles et références — aucun script exécutable.
Fonctionne hors ligne avec ce que tu fournis — n’appelle pas de services externes de lui-même.
Contenu livré
- ab-test-auditor-2.6.0/4 fichiers
- .claude-plugin/marketplace.json
plugins/ab-test-auditor/skills/ab-test-auditor/4 fichiers
- SKILL.md
- manifest.json
references/2 fichiers
- ab-test-auditor-checklist.md
- methods.md
- .agents/skills/ab-test-auditor/→ universel — même contenu (Codex, Cursor, Copilot, Gemini, Windsurf, Cline)
- LICENSE.txt
Installation
Aussi comme prompt de chat
Pas d’outil IA ? Collez-le dans Claude, ChatGPT ou Gemini et utilisez la méthode aussitôt.
Ce skill n’embarque aucun script — le prompt porte donc sa méthode complète.
L’installation est la version complète — elle se déclenche automatiquement, exécute ses scripts et charge les références au besoin. En prompt de chat, vous pilotez la méthode vous-même.
Déverrouillez pour copier le prompt prêt à coller — ensuite dans « Mes skills ».
Avis
Pas encore d’avis – soyez le premier.
Remarque
Aide à la décision sur la base des données fournies — aucune garantie de succès.
Journal des modifications
- v2.6.022.06.2026Sortie native à la plateforme : utilise désormais activement le formatage natif de votre plateforme — tableaux, listes de contrôle, blocs de code et options cliquables/boutons, avec repli numéroté sur les plateformes non interactives. Et des métadonnées internes qui préparent le futur constructeur d'agents.
- v2.5.018.06.2026Refonte au standard AUTHORING v2 : exemples entrée/réponse réalistes (dont un cas de calibrage), checklist(s) à copier et évaluations internes ; renvois croisés ajoutés.
- v2.4.018.06.2026Ajout de references/methods.md : référence détaillée (divulgation progressive) ; le SKILL.md reste concis.
- v2.3.010.06.2026Fiabilité des calculs : utiliser un outil de code, sinon signaler l’approximation.
- v2.2.010.06.2026Transition propre pour les demandes hors périmètre.
- v2.1.010.06.2026Correction d’un chiffre de taille d’échantillon erroné dans un exemple.
- v2.0.010.06.2026Mode planification, moteur bayésien, gestion CSV, routeur de modes.
- v1.0.010.06.2026Audit fréquentiste avec checklist de validité.
Questions fréquentes
Que fait Auditeur & planificateur de tests A/B ?
Auditeur & planificateur de tests A/B est un skill IA d'expérimentation : un calcul de significativité et audit de test A/B qui vérifie significativité statistique, taille d'échantillon et sample ratio mismatch (fréquentiste ou bayésien) et donne un verdict clair déployer / attendre / itérer.
Quand un test A/B est-il statistiquement significatif ?
La significativité dépend de la taille d'échantillon, de l'effet et du niveau de confiance — et tout gagnant en vert ne tient pas. Auditeur & planificateur de tests A/B vérifie cela avec toute la rigueur statistique et vous donne une recommandation claire ship/hold/iterate au lieu d'une intuition.
Qu'est-ce qu'un sample ratio mismatch (SRM) ?
Un SRM signifie que les utilisateurs n'ont pas été répartis entre les variantes comme prévu — un piège silencieux qui rend les résultats inutiles. Auditeur & planificateur de tests A/B détecte précisément ces problèmes cachés avant que vous tiriez de mauvaises conclusions.
Combien de visiteurs faut-il pour un test A/B ?
La taille d'échantillon nécessaire dépend du taux de base, de l'effet attendu et du niveau de confiance. Auditeur & planificateur de tests A/B le planifie en amont — fréquentiste ou bayésien — pour que votre test soit réellement significatif.
Fréquentiste ou bayésien — lequel est meilleur pour les tests A/B ?
Les deux approches sont valables et conviennent selon la situation. Auditeur & planificateur de tests A/B maîtrise les deux et applique la méthode adéquate avec toute la rigueur.
Avec quels outils d’IA Auditeur & planificateur de tests A/B fonctionne-t-il ?
Claude (Projects & prompt système) · ChatGPT (Custom GPT & instructions personnalisées) · Tout LLM avec calcul · Moteur : fréquentiste · Moteur : bayésien
Comment utiliser Auditeur & planificateur de tests A/B ?
Auditeur & planificateur de tests A/B est un SKILL.md au standard ouvert agentskills.io : installez-le en une commande (npx) ou téléchargez-le et ajoutez-le à votre outil d’IA — Claude (Projects), ChatGPT (Custom GPT), Cursor, Copilot, Gemini CLI, etc. Aucun code requis.