Auditeur & planificateur de tests A/B
Significativité de votre test A/B : avant de déployer, je vous dis la vérité.
SKILL.md au standard ouvert agentskills.io, utilisable directement dans Claude, ChatGPT/Codex, Cursor, Copilot, etc.
Auditeur & planificateur de tests A/B est un skill IA d'expérimentation : un calcul de significativité et audit de test A/B qui vérifie significativité statistique, taille d'échantillon et sample ratio mismatch (fréquentiste ou bayésien) et donne un verdict clair déployer / attendre / itérer.
Ce que fait ce skill
- Planification : taille d’échantillon, durée, plausibilité du MDE (binaire & continu)
- Audit de résultats avec checklist de validité (sample ratio mismatch, peeking, puissance, nouveauté, qualité des données)
- Analyse fréquentiste (test z/Welch-t, intervalle de confiance, correction des comparaisons multiples)
- Analyse bayésienne (postérieur, P(B>A), intervalle crédible, perte attendue)
- Rapport sur les garde-fous et (à titre exploratoire) les segments
- Recommandation claire Déployer / Attendre / Itérer avec impact business
- Traite des indicateurs agrégés OU des données CSV/événements brutes
Description
Auditeur & planificateur de tests A/B est un skill pour des tests A/B statistiquement solides : il planifie et audite vos tests avec toute la rigueur nécessaire, détecte les pièges cachés comme le sample ratio mismatch et donne une recommandation claire ship/hold/iterate. La plupart des tests A/B sont mal planifiés ou mal lus : échantillons trop petits, peeking, puissance insuffisante ou splits de tracking cassés. Un test déployé à tort coûte du chiffre d’affaires réel. Ce skill apporte une rigueur d’analyste à toute équipe : il planifie en amont la taille d’échantillon et la durée, vérifie la validité des tests terminés (SRM, peeking, puissance, nouveauté, garde-fous), calcule la significativité + l’intervalle de confiance/crédible + la perte attendue, et traduit le tout en une décision de déploiement claire, sans diplôme de stats.
Exemples
Réponses données à titre d'exemple. Elles peuvent varier selon l'IA et le modèle.
Ce qu’il ne fait pas
- N’invente pas d’idées d’optimisation ni d’hypothèses
- Pas de design de funnel ni de landing page
- Pas de textes publicitaires ni de visuels
- Pas de benchmarks sectoriels (« 3 %, c’est bien ? »)
Compatibilité & technique
- Testé (interne)
- 3 scénarios
- Runtime recommandé
- Avec un outil de code/analyse (Claude Analysis, ChatGPT Data Analysis) pour des stats exactes ; fonctionne aussi sans, alors avec des approximations signalées.
- Modes
- Planification · Audit
- Entrées
- Indicateurs agrégés · Données CSV/événements
- Format de sortie
- Rapport Markdown (verdict, contrôles de validité, statistiques, recommandation)
- Sous-catégorie
- Expérimentation / tests A/B
- Licence
- Proprietär
Profil de sécurité
S’exécute entièrement chez toi avec ta propre IA, aucun runtime externe, aucun coût récurrent.
Uniquement instructions, modèles et références, aucun script exécutable.
Fonctionne hors ligne avec ce que tu fournis, n’appelle pas de services externes de lui-même.
Contenu livré
- ab-test-auditor-2.6.2/4 fichiers
- .claude-plugin/marketplace.json
plugins/ab-test-auditor/skills/ab-test-auditor/4 fichiers
- SKILL.md
- manifest.json
references/2 fichiers
- ab-test-auditor-checklist.md
- methods.md
- .agents/skills/ab-test-auditor/→ universel, même contenu (Codex, Cursor, Copilot, Gemini, Windsurf, Cline)
- LICENSE.txt
Installation
Aussi comme prompt de chat
Pas d’outil IA ? Collez-le dans Claude, ChatGPT ou Gemini et utilisez la méthode aussitôt.
Ce skill n’embarque aucun script. Le prompt porte donc sa méthode complète.
L’installation est la version complète. Elle se déclenche automatiquement, exécute ses scripts et charge les références au besoin. En prompt de chat, vous pilotez la méthode vous-même.
Déverrouillez pour copier le prompt prêt à coller, ensuite dans « Mes skills ».
Avis
Remarque
Aide à la décision sur la base des données fournies, aucune garantie de succès.
Journal des modifications
- v2.6.225.09.2026Compatibilité mise à jour : projets ChatGPT et import de skills (Business/Enterprise/Edu) au lieu des GPT personnalisés, qu’OpenAI arrête fin 2026.
- v2.6.124.09.2026Mise à jour de maintenance : les questions de suivi utilisent désormais l'outil de questions natif de votre plateforme (3 questions au maximum, option recommandée en premier, liste numérotée en repli, ne bloque jamais les exécutions sans surveillance). Typographie plus soignée dans tous les fichiers livrés.
- v2.6.022.06.2026Sortie native à la plateforme : utilise désormais activement le formatage natif de votre plateforme : tableaux, listes de contrôle, blocs de code et options cliquables/boutons, avec repli numéroté sur les plateformes non interactives. Et des métadonnées internes qui préparent le futur constructeur d'agents.
- v2.5.018.06.2026Refonte au standard AUTHORING v2 : exemples entrée/réponse réalistes (dont un cas de calibrage), checklist(s) à copier et évaluations internes ; renvois croisés ajoutés.
- v2.4.018.06.2026Ajout de references/methods.md : référence détaillée (divulgation progressive) ; le SKILL.md reste concis.
- v2.3.010.06.2026Fiabilité des calculs : utiliser un outil de code, sinon signaler l’approximation.
- v2.2.010.06.2026Transition propre pour les demandes hors périmètre.
- v2.1.010.06.2026Correction d’un chiffre de taille d’échantillon erroné dans un exemple.
- v2.0.010.06.2026Mode planification, moteur bayésien, gestion CSV, routeur de modes.
- v1.0.010.06.2026Audit fréquentiste avec checklist de validité.
Questions fréquentes
Que fait Auditeur & planificateur de tests A/B ?
Auditeur & planificateur de tests A/B est un skill IA d'expérimentation : un calcul de significativité et audit de test A/B qui vérifie significativité statistique, taille d'échantillon et sample ratio mismatch (fréquentiste ou bayésien) et donne un verdict clair déployer / attendre / itérer.
Quand un test A/B est-il statistiquement significatif ?
La significativité dépend de la taille d'échantillon, de l'effet et du niveau de confiance, et tout gagnant en vert ne tient pas. Auditeur & planificateur de tests A/B vérifie cela avec toute la rigueur statistique et vous donne une recommandation claire ship/hold/iterate au lieu d'une intuition.
Qu'est-ce qu'un sample ratio mismatch (SRM) ?
Un SRM signifie que les utilisateurs n'ont pas été répartis entre les variantes comme prévu, un piège silencieux qui rend les résultats inutiles. Auditeur & planificateur de tests A/B détecte précisément ces problèmes cachés avant que vous tiriez de mauvaises conclusions.
Combien de visiteurs faut-il pour un test A/B ?
La taille d'échantillon nécessaire dépend du taux de base, de l'effet attendu et du niveau de confiance. Auditeur & planificateur de tests A/B le planifie en amont (fréquentiste ou bayésien) pour que votre test soit réellement significatif.
Fréquentiste ou bayésien, lequel est meilleur pour les tests A/B ?
Les deux approches sont valables et conviennent selon la situation. Auditeur & planificateur de tests A/B maîtrise les deux et applique la méthode adéquate avec toute la rigueur.
Avec quels outils d’IA Auditeur & planificateur de tests A/B fonctionne-t-il ?
Claude (Projects & prompt système) · ChatGPT (projets, instructions personnalisées, skills en Business/Enterprise/Edu) · Tout LLM avec calcul · Moteur : fréquentiste · Moteur : bayésien
Comment utiliser Auditeur & planificateur de tests A/B ?
Auditeur & planificateur de tests A/B est un SKILL.md au standard ouvert agentskills.io : installez-le en une commande (npx) ou téléchargez-le et ajoutez-le à votre outil d’IA : Claude (Projects), ChatGPT (Skills ou projet), Cursor, Copilot, Gemini CLI, etc. Aucun code requis.