A/B-Test Auditor & Planner
Bevor du ausrollst — sag mir die Wahrheit über meinen A/B-Test.
SKILL.md im offenen agentskills.io-Standard — direkt nutzbar in Claude, ChatGPT/Codex, Cursor, Copilot & Co.
A/B-Test Auditor & Planner ist ein KI-Skill für Experimentation, der A/B-Tests mit voller statistischer Strenge plant und auditiert (frequentistisch oder bayesianisch), versteckte Killer wie Sample-Ratio-Mismatch erkennt und eine klare Ship / Hold / Iterate-Empfehlung in Klartext gibt.
Was dieser Skill macht
- Test-Planung: Stichprobengröße, Laufzeit, MDE-Plausibilität (binär & kontinuierlich)
- Ergebnis-Audit mit Validitäts-Checkliste (Sample Ratio Mismatch, Peeking, Power, Novelty, Datenqualität)
- Frequentistische Auswertung (z-/Welch-t-Test, Konfidenzintervall, Multiple-Comparison-Korrektur)
- Bayesianische Auswertung (Posterior, P(B>A), Credible-Intervall, erwarteter Verlust)
- Guardrail- und (exploratives) Segment-Reporting
- Klare Ship / Hold / Iterate-Empfehlung mit Business-Wirkung
- Verarbeitet Kennzahlen ODER Roh-CSV/Event-Daten
Beschreibung
A/B-Test Auditor & Planner ist ein Skill für statistisch saubere A/B-Tests — er plant und auditiert deine Tests mit voller Strenge, erkennt versteckte Killer wie Sample-Ratio-Mismatch und gibt eine klare Ship/Hold/Iterate-Empfehlung. Die meisten A/B-Tests werden falsch geplant oder falsch gelesen — durch zu kleine Stichproben, Peeking, fehlende Power oder kaputte Tracking-Splits. Ein falsch positiv ausgerollter Test kostet real Umsatz. Dieser Skill bringt Analyst-Level-Rigor in jedes Team: Er plant vorab die nötige Stichprobengröße und Laufzeit, prüft fertige Tests auf Validität (SRM, Peeking, Power, Novelty, Guardrails), rechnet Signifikanz + Konfidenz-/Credible-Intervall + erwarteten Verlust und übersetzt alles in eine klare Roll-out-Entscheidung — ohne Statistik-Studium.
Beispiele
Was es nicht macht
- Keine Optimierungsideen/Hypothesen erfinden
- Kein Funnel- oder Landingpage-Design
- Keine Werbetexte/Creatives
- Keine Branchen-Benchmarks ('ist 3% gut?')
Kompatibilität & Technik
- Geprüft (intern)
- 3 Szenarien
- Empfohlene Laufzeit
- Mit Code-/Analyse-Tool (Claude Analysis, ChatGPT Data Analysis) für exakte Statistik; läuft auch ohne, dann mit gekennzeichneten Näherungen.
- Modi
- Planung · Audit
- Eingaben
- Kennzahlen · CSV/Event-Daten
- Ausgabeformat
- Markdown-Report (Verdict, Validitäts-Checks, Statistik, Empfehlung)
- Unterkategorie
- Experimentation / A/B-Testing
- Lizenz
- Proprietär
Sicherheitsprofil
Läuft komplett bei dir mit deiner eigenen KI — keine externe Runtime, keine laufenden Kosten.
Nur Anweisungen, Vorlagen und Referenzen — keine ausführbaren Skripte.
Arbeitet offline mit dem, was du gibst — ruft von sich aus keine externen Dienste auf.
Lieferumfang
- ab-test-auditor-2.6.0/4 Dateien
- .claude-plugin/marketplace.json
plugins/ab-test-auditor/skills/ab-test-auditor/4 Dateien
- SKILL.md
- manifest.json
references/2 Dateien
- ab-test-auditor-checklist.md
- methods.md
- .agents/skills/ab-test-auditor/→ universell — gleicher Inhalt (Codex, Cursor, Copilot, Gemini, Windsurf, Cline)
- LICENSE.txt
Installation
Auch als Chat-Prompt nutzbar
Kein KI-Tool? Füg ihn in Claude, ChatGPT oder Gemini ein und nutze die Methode sofort.
Dieser Skill bringt keine Skripte mit — der Prompt trägt daher seine volle Methode.
Die Installation ist die volle Version — sie greift automatisch, führt ihre Skripte aus und lädt Referenzen bei Bedarf. Als Chat-Prompt fährst du die Methode selbst.
Zum Kopieren des paste-fertigen Prompts freischalten — danach in „Meine Skills".
Bewertungen
Noch keine Bewertungen – sei der/die Erste.
Hinweis
Entscheidungs-Unterstützung auf Basis der eingegebenen Daten — keine Erfolgsgarantie.
Änderungen
- v2.6.022.06.2026Platform-native Ausgabe: nutzt jetzt aktiv die nativen Formate deiner Plattform — Tabellen, Checklisten, Codeblöcke und anklickbare/Button-Optionen, mit nummeriertem Fallback auf Plattformen ohne Interaktion. Dazu interne Metadaten, die den kommenden Agent-Baukasten vorbereiten.
- v2.5.018.06.2026Auf AUTHORING-v2-Standard überarbeitet: realistische Eingabe/Antwort-Beispiele (inkl. Kalibrierungsfall), Copy-Checkliste(n) und interne Evals; Cross-Verweise ergänzt.
- v2.4.018.06.2026references/methods.md ergänzt: tiefere Detail-Referenz via Progressive Disclosure; SKILL.md bleibt schlank.
- v2.3.010.06.2026Rechen-Zuverlässigkeit: Code-Tool nutzen, sonst Näherung kennzeichnen.
- v2.2.010.06.2026Graceful Handoff für Anfragen außerhalb des Fokus.
- v2.1.010.06.2026Fehlerhafte Stichprobengrößen-Zahl im Beispiel korrigiert.
- v2.0.010.06.2026Plan-Modus, Bayesian-Engine, CSV-Handling, Modus-Router.
- v1.0.010.06.2026Frequentistischer Audit mit Validitäts-Checkliste.
Häufige Fragen
Was macht A/B-Test Auditor & Planner?
A/B-Test Auditor & Planner ist ein KI-Skill für Experimentation, der A/B-Tests mit voller statistischer Strenge plant und auditiert (frequentistisch oder bayesianisch), versteckte Killer wie Sample-Ratio-Mismatch erkennt und eine klare Ship / Hold / Iterate-Empfehlung in Klartext gibt.
Warum A/B-Test Auditor & Planner statt einfach einen Prompt zu schreiben?
Weil die meisten A/B-Tests falsch geplant oder falsch gelesen werden — durch zu kleine Stichproben, Peeking, fehlende Power oder kaputte Tracking-Splits. Der Skill erzwingt stattdessen eine feste Validitäts-Checkliste (SRM, Peeking, Power, Novelty, Guardrails) und rechnet Signifikanz, Konfidenz- oder Credible-Intervall und erwarteten Verlust mit voller statistischer Strenge. So bekommst du eine belastbare Ship/Hold/Iterate-Entscheidung statt Bauchgefühl.
Wann lohnt sich A/B-Test Auditor & Planner — und wann eher nicht?
Er lohnt sich, wenn du vorab Stichprobengröße und Laufzeit planen oder einen fertigen Test auf versteckte Killer wie Sample-Ratio-Mismatch prüfen willst — frequentistisch oder bayesianisch, mit Kennzahlen oder Roh-CSV. Eher nicht, wenn du Optimierungsideen oder Hypothesen erfinden, ein Funnel- oder Landingpage-Design bauen oder Werbetexte schreiben willst. Auch Branchen-Benchmarks wie „ist 3 % gut?“ liefert er bewusst nicht.
Wann ist ein A/B-Test statistisch signifikant?
Signifikanz hängt von Stichprobengröße, Effekt und Konfidenzniveau ab — und nicht jeder grüne Gewinner hält. A/B-Test Auditor & Planner prüft das mit voller statistischer Strenge und gibt dir eine klare Ship/Hold/Iterate-Empfehlung statt Bauchgefühl.
Was ist ein Sample-Ratio-Mismatch (SRM)?
Ein SRM bedeutet, dass die Nutzer nicht wie erwartet auf die Varianten verteilt wurden — ein stiller Killer, der Ergebnisse wertlos macht. A/B-Test Auditor & Planner erkennt genau solche versteckten Probleme, bevor du falsche Schlüsse ziehst.
Wie viele Besucher brauche ich für einen A/B-Test?
Die nötige Stichprobengröße hängt von Baseline-Rate, erwartetem Effekt und Konfidenzniveau ab. A/B-Test Auditor & Planner plant das vorab — frequentistisch oder bayesianisch — damit dein Test überhaupt aussagekräftig sein kann.
Frequentistisch oder bayesianisch — was ist besser für A/B-Tests?
Beide Ansätze sind legitim und passen je nach Situation. A/B-Test Auditor & Planner beherrscht beide und wendet die jeweils passende Methode mit voller Strenge an.
Mit welchen KI-Tools funktioniert A/B-Test Auditor & Planner?
Claude (Projects & System-Prompt) · ChatGPT (Custom GPT & Custom Instructions) · Jedes LLM mit Rechenfähigkeit · Engine: frequentistisch · Engine: bayesianisch
Wie setze ich A/B-Test Auditor & Planner ein?
A/B-Test Auditor & Planner ist eine SKILL.md im offenen agentskills.io-Standard: per Befehl installieren (npx) oder herunterladen und ins KI-Tool laden — Claude (Projects), ChatGPT (Custom GPT), Cursor, Copilot, Gemini CLI u. a. Kein Code nötig.