A/B-Test Auditor & Planner
Bevor du ausrollst: sag mir die Wahrheit über meinen A/B-Test.
SKILL.md im offenen agentskills.io-Standard, direkt nutzbar in Claude, ChatGPT/Codex, Cursor, Copilot & Co.
A/B-Test Auditor & Planner ist ein KI-Skill für Experimentation, der A/B-Tests mit voller statistischer Strenge plant und auditiert (frequentistisch oder bayesianisch), versteckte Killer wie Sample-Ratio-Mismatch erkennt und eine klare Ship / Hold / Iterate-Empfehlung in Klartext gibt.
Was dieser Skill macht
- Test-Planung: Stichprobengröße, Laufzeit, MDE-Plausibilität (binär & kontinuierlich)
- Ergebnis-Audit mit Validitäts-Checkliste (Sample Ratio Mismatch, Peeking, Power, Novelty, Datenqualität)
- Frequentistische Auswertung (z-/Welch-t-Test, Konfidenzintervall, Multiple-Comparison-Korrektur)
- Bayesianische Auswertung (Posterior, P(B>A), Credible-Intervall, erwarteter Verlust)
- Guardrail- und (exploratives) Segment-Reporting
- Klare Ship / Hold / Iterate-Empfehlung mit Business-Wirkung
- Verarbeitet Kennzahlen ODER Roh-CSV/Event-Daten
Beschreibung
A/B-Test Auditor & Planner ist ein Skill für statistisch saubere A/B-Tests: er plant und auditiert deine Tests mit voller Strenge, erkennt versteckte Killer wie Sample-Ratio-Mismatch und gibt eine klare Ship/Hold/Iterate-Empfehlung. Die meisten A/B-Tests werden falsch geplant oder falsch gelesen: durch zu kleine Stichproben, Peeking, fehlende Power oder kaputte Tracking-Splits. Ein falsch positiv ausgerollter Test kostet real Umsatz. Dieser Skill bringt Analyst-Level-Rigor in jedes Team: Er plant vorab die nötige Stichprobengröße und Laufzeit, prüft fertige Tests auf Validität (SRM, Peeking, Power, Novelty, Guardrails), rechnet Signifikanz + Konfidenz-/Credible-Intervall + erwarteten Verlust und übersetzt alles in eine klare Roll-out-Entscheidung, ohne Statistik-Studium.
Beispiele
Beispielhafte Antworten. Je nach KI und Modell können sie abweichen.
Was es nicht macht
- Keine Optimierungsideen/Hypothesen erfinden
- Kein Funnel- oder Landingpage-Design
- Keine Werbetexte/Creatives
- Keine Branchen-Benchmarks ('ist 3% gut?')
Kompatibilität & Technik
- Geprüft (intern)
- 3 Szenarien
- Empfohlene Laufzeit
- Mit Code-/Analyse-Tool (Claude Analysis, ChatGPT Data Analysis) für exakte Statistik; läuft auch ohne, dann mit gekennzeichneten Näherungen.
- Modi
- Planung · Audit
- Eingaben
- Kennzahlen · CSV/Event-Daten
- Ausgabeformat
- Markdown-Report (Verdict, Validitäts-Checks, Statistik, Empfehlung)
- Unterkategorie
- Experimentation / A/B-Testing
- Lizenz
- Proprietär
Sicherheitsprofil
Läuft komplett bei dir mit deiner eigenen KI, keine externe Runtime, keine laufenden Kosten.
Nur Anweisungen, Vorlagen und Referenzen, keine ausführbaren Skripte.
Arbeitet offline mit dem, was du gibst, ruft von sich aus keine externen Dienste auf.
Lieferumfang
- ab-test-auditor-2.6.2/4 Dateien
- .claude-plugin/marketplace.json
plugins/ab-test-auditor/skills/ab-test-auditor/4 Dateien
- SKILL.md
- manifest.json
references/2 Dateien
- ab-test-auditor-checklist.md
- methods.md
- .agents/skills/ab-test-auditor/→ universell, gleicher Inhalt (Codex, Cursor, Copilot, Gemini, Windsurf, Cline)
- LICENSE.txt
Installation
Auch als Chat-Prompt nutzbar
Kein KI-Tool? Füg ihn in Claude, ChatGPT oder Gemini ein und nutze die Methode sofort.
Dieser Skill bringt keine Skripte mit. Der Prompt trägt daher seine volle Methode.
Die Installation ist die volle Version. Sie greift automatisch, führt ihre Skripte aus und lädt Referenzen bei Bedarf. Als Chat-Prompt fährst du die Methode selbst.
Zum Kopieren des paste-fertigen Prompts freischalten, danach in „Meine Skills".
Bewertungen
Hinweis
Entscheidungs-Unterstützung auf Basis der eingegebenen Daten, keine Erfolgsgarantie.
Änderungen
- v2.6.225.09.2026Kompatibilität aktualisiert: ChatGPT-Projekte und Skill-Upload (Business/Enterprise/Edu) statt Custom GPT, das OpenAI Ende 2026 einstellt.
- v2.6.124.09.2026Pflege-Update: Rückfragen nutzen jetzt das native Fragen-Werkzeug deiner Plattform (höchstens 3 Fragen, empfohlene Option zuerst, nummerierte Liste als Rückfall, blockiert nie unbeaufsichtigte Läufe). Dazu sauberere Typografie in allen ausgelieferten Dateien.
- v2.6.022.06.2026Platform-native Ausgabe: nutzt jetzt aktiv die nativen Formate deiner Plattform: Tabellen, Checklisten, Codeblöcke und anklickbare/Button-Optionen, mit nummeriertem Fallback auf Plattformen ohne Interaktion. Dazu interne Metadaten, die den kommenden Agent-Baukasten vorbereiten.
- v2.5.018.06.2026Auf AUTHORING-v2-Standard überarbeitet: realistische Eingabe/Antwort-Beispiele (inkl. Kalibrierungsfall), Copy-Checkliste(n) und interne Evals; Cross-Verweise ergänzt.
- v2.4.018.06.2026references/methods.md ergänzt: tiefere Detail-Referenz via Progressive Disclosure; SKILL.md bleibt schlank.
- v2.3.010.06.2026Rechen-Zuverlässigkeit: Code-Tool nutzen, sonst Näherung kennzeichnen.
- v2.2.010.06.2026Graceful Handoff für Anfragen außerhalb des Fokus.
- v2.1.010.06.2026Fehlerhafte Stichprobengrößen-Zahl im Beispiel korrigiert.
- v2.0.010.06.2026Plan-Modus, Bayesian-Engine, CSV-Handling, Modus-Router.
- v1.0.010.06.2026Frequentistischer Audit mit Validitäts-Checkliste.
Häufige Fragen
Was macht A/B-Test Auditor & Planner?
A/B-Test Auditor & Planner ist ein KI-Skill für Experimentation, der A/B-Tests mit voller statistischer Strenge plant und auditiert (frequentistisch oder bayesianisch), versteckte Killer wie Sample-Ratio-Mismatch erkennt und eine klare Ship / Hold / Iterate-Empfehlung in Klartext gibt.
Warum A/B-Test Auditor & Planner statt einfach einen Prompt zu schreiben?
Weil die meisten A/B-Tests falsch geplant oder falsch gelesen werden, durch zu kleine Stichproben, Peeking, fehlende Power oder kaputte Tracking-Splits. Der Skill erzwingt stattdessen eine feste Validitäts-Checkliste (SRM, Peeking, Power, Novelty, Guardrails) und rechnet Signifikanz, Konfidenz- oder Credible-Intervall und erwarteten Verlust mit voller statistischer Strenge. So bekommst du eine belastbare Ship/Hold/Iterate-Entscheidung statt Bauchgefühl.
Wann lohnt sich A/B-Test Auditor & Planner, und wann eher nicht?
Er lohnt sich, wenn du vorab Stichprobengröße und Laufzeit planen oder einen fertigen Test auf versteckte Killer wie Sample-Ratio-Mismatch prüfen willst, frequentistisch oder bayesianisch, mit Kennzahlen oder Roh-CSV. Eher nicht, wenn du Optimierungsideen oder Hypothesen erfinden, ein Funnel- oder Landingpage-Design bauen oder Werbetexte schreiben willst. Auch Branchen-Benchmarks wie „ist 3 % gut?“ liefert er bewusst nicht.
Wann ist ein A/B-Test statistisch signifikant?
Signifikanz hängt von Stichprobengröße, Effekt und Konfidenzniveau ab, und nicht jeder grüne Gewinner hält. A/B-Test Auditor & Planner prüft das mit voller statistischer Strenge und gibt dir eine klare Ship/Hold/Iterate-Empfehlung statt Bauchgefühl.
Was ist ein Sample-Ratio-Mismatch (SRM)?
Ein SRM bedeutet, dass die Nutzer nicht wie erwartet auf die Varianten verteilt wurden, ein stiller Killer, der Ergebnisse wertlos macht. A/B-Test Auditor & Planner erkennt genau solche versteckten Probleme, bevor du falsche Schlüsse ziehst.
Wie viele Besucher brauche ich für einen A/B-Test?
Die nötige Stichprobengröße hängt von Baseline-Rate, erwartetem Effekt und Konfidenzniveau ab. A/B-Test Auditor & Planner plant das vorab (frequentistisch oder bayesianisch), damit dein Test überhaupt aussagekräftig sein kann.
Frequentistisch oder bayesianisch, was ist besser für A/B-Tests?
Beide Ansätze sind legitim und passen je nach Situation. A/B-Test Auditor & Planner beherrscht beide und wendet die jeweils passende Methode mit voller Strenge an.
Mit welchen KI-Tools funktioniert A/B-Test Auditor & Planner?
Claude (Projects & System-Prompt) · ChatGPT (Projekte, Custom Instructions, Skills in Business/Enterprise/Edu) · Jedes LLM mit Rechenfähigkeit · Engine: frequentistisch · Engine: bayesianisch
Wie setze ich A/B-Test Auditor & Planner ein?
A/B-Test Auditor & Planner ist eine SKILL.md im offenen agentskills.io-Standard: per Befehl installieren (npx) oder herunterladen und ins KI-Tool laden: Claude (Projects), ChatGPT (Skills oder Projekt), Cursor, Copilot, Gemini CLI u. a. Kein Code nötig.