Auditor y planificador de pruebas A/B
Significancia de tu test A/B — antes de lanzar, te digo la verdad.
SKILL.md en el estándar abierto agentskills.io — funciona directamente en Claude, ChatGPT/Codex, Cursor, Copilot y más.
Auditor y planificador de pruebas A/B es un skill de IA de experimentación: una calculadora de significancia y auditoría de test A/B que comprueba significancia estadística, tamaño de muestra y sample ratio mismatch (frecuentista o bayesiano) y da un veredicto claro lanzar / esperar / iterar.
Qué hace este skill
- Planificación: tamaño de muestra, duración, plausibilidad del MDE (binario y continuo)
- Auditoría de resultados con checklist de validez (sample ratio mismatch, peeking, potencia, novedad, calidad de datos)
- Análisis frecuentista (test z/Welch-t, intervalo de confianza, corrección por comparaciones múltiples)
- Análisis bayesiano (posterior, P(B>A), intervalo creíble, pérdida esperada)
- Informe de guardarraíles y (de forma exploratoria) de segmentos
- Recomendación clara Lanzar / Esperar / Iterar con impacto de negocio
- Procesa métricas agregadas O datos CSV/de eventos en bruto
Descripción
Auditor y planificador de pruebas A/B es un skill para pruebas A/B estadísticamente sólidas — planifica y audita tus pruebas con todo el rigor, detecta riesgos ocultos como el sample ratio mismatch y da una recomendación clara ship/hold/iterate. La mayoría de los tests A/B se planifican o se leen mal — muestras demasiado pequeñas, peeking, potencia insuficiente o splits de tracking rotos. Un test lanzado por error cuesta ingresos reales. Este skill aporta rigor de analista a cualquier equipo: planifica de antemano el tamaño de muestra y la duración, comprueba la validez de los tests terminados (SRM, peeking, potencia, novedad, guardarraíles), calcula la significación + el intervalo de confianza/creíble + la pérdida esperada, y lo traduce todo en una decisión de despliegue clara — sin necesidad de un título en estadística.
Ejemplos
Qué no hace
- No inventa ideas de optimización ni hipótesis
- Sin diseño de funnel ni de landing page
- Sin textos publicitarios ni creatividades
- Sin benchmarks de sector (« ¿3 % es bueno? »)
Compatibilidad y técnica
- Probado (interno)
- 3 escenarios
- Runtime recomendado
- Con una herramienta de código/análisis (Claude Analysis, ChatGPT Data Analysis) para estadística exacta; también funciona sin ella, entonces con aproximaciones señaladas.
- Modos
- Planificación · Auditoría
- Entradas
- Métricas agregadas · Datos CSV/de eventos
- Formato de salida
- Informe Markdown (veredicto, comprobaciones de validez, estadística, recomendación)
- Subcategoría
- Experimentación / tests A/B
- Licencia
- Proprietär
Perfil de seguridad
Se ejecuta por completo en tu equipo con tu propia IA — sin runtime externo, sin costes recurrentes.
Solo instrucciones, plantillas y referencias — sin scripts ejecutables.
Funciona sin conexión con lo que proporcionas — no llama a servicios externos por sí mismo.
Qué incluye
- ab-test-auditor-2.6.0/4 archivos
- .claude-plugin/marketplace.json
plugins/ab-test-auditor/skills/ab-test-auditor/4 archivos
- SKILL.md
- manifest.json
references/2 archivos
- ab-test-auditor-checklist.md
- methods.md
- .agents/skills/ab-test-auditor/→ universal — mismo contenido (Codex, Cursor, Copilot, Gemini, Windsurf, Cline)
- LICENSE.txt
Instalación
También como prompt de chat
¿Sin herramienta de IA? Pégalo en Claude, ChatGPT o Gemini y usa el método al instante.
Este skill no trae scripts, así que el prompt lleva su método completo.
Instalarlo es la versión completa — se activa solo, ejecuta sus scripts y carga referencias cuando hacen falta. Como prompt de chat, tú conduces el método.
Desbloquéalo para copiar el prompt listo para pegar — luego en «Mis skills».
Reseñas
Aún no hay reseñas: sé el primero.
Nota
Apoyo a la decisión según los datos aportados — sin garantía de éxito.
Historial de cambios
- v2.6.022.06.2026Salida nativa de la plataforma: ahora usa activamente el formato nativo de tu plataforma — tablas, listas de control, bloques de código y opciones clicables/botón, con alternativa numerada en plataformas no interactivas. Además, metadatos internos que preparan el próximo constructor de agentes.
- v2.5.018.06.2026Renovado al estándar AUTHORING v2: ejemplos de entrada/respuesta realistas (incl. un caso de calibración), checklist(s) para copiar y evals internas; referencias cruzadas añadidas.
- v2.4.018.06.2026Añadido references/methods.md: referencia detallada (divulgación progresiva); el SKILL.md queda conciso.
- v2.3.010.06.2026Fiabilidad de cálculo: usar una herramienta de código; si no, señalar la aproximación.
- v2.2.010.06.2026Transición elegante para solicitudes fuera de alcance.
- v2.1.010.06.2026Corregido un número de tamaño de muestra erróneo en un ejemplo.
- v2.0.010.06.2026Modo planificación, motor bayesiano, manejo de CSV, enrutador de modos.
- v1.0.010.06.2026Auditoría frecuentista con checklist de validez.
Preguntas frecuentes
¿Qué hace Auditor y planificador de pruebas A/B?
Auditor y planificador de pruebas A/B es un skill de IA de experimentación: una calculadora de significancia y auditoría de test A/B que comprueba significancia estadística, tamaño de muestra y sample ratio mismatch (frecuentista o bayesiano) y da un veredicto claro lanzar / esperar / iterar.
¿Cuándo una prueba A/B es estadísticamente significativa?
La significancia depende del tamaño de muestra, el efecto y el nivel de confianza — y no todo ganador en verde se sostiene. Auditor y planificador de pruebas A/B lo comprueba con todo el rigor estadístico y te da una recomendación clara ship/hold/iterate en lugar de intuición.
¿Qué es un sample ratio mismatch (SRM)?
Un SRM significa que los usuarios no se repartieron entre las variantes como se esperaba — un riesgo silencioso que invalida los resultados. Auditor y planificador de pruebas A/B detecta justo estos problemas ocultos antes de que saques conclusiones erróneas.
¿Cuántos visitantes necesito para una prueba A/B?
El tamaño de muestra necesario depende de la tasa base, el efecto esperado y el nivel de confianza. Auditor y planificador de pruebas A/B lo planifica de antemano — frecuentista o bayesiano — para que tu prueba sea realmente significativa.
¿Frecuentista o bayesiano — cuál es mejor para pruebas A/B?
Ambos enfoques son válidos y encajan según la situación. Auditor y planificador de pruebas A/B domina los dos y aplica el método adecuado con todo el rigor.
¿Con qué herramientas de IA funciona Auditor y planificador de pruebas A/B?
Claude (Projects y prompt de sistema) · ChatGPT (Custom GPT e instrucciones personalizadas) · Cualquier LLM con cálculo · Motor: frecuentista · Motor: bayesiano
¿Cómo uso Auditor y planificador de pruebas A/B?
Auditor y planificador de pruebas A/B es un SKILL.md en el estándar abierto agentskills.io: instálalo con un comando (npx) o descárgalo y añádelo a tu herramienta de IA — Claude (Projects), ChatGPT (Custom GPT), Cursor, Copilot, Gemini CLI y más. Sin código.