Auditor y planificador de pruebas A/B
Significancia de tu test A/B: antes de lanzar, te digo la verdad.
SKILL.md en el estándar abierto agentskills.io, funciona directamente en Claude, ChatGPT/Codex, Cursor, Copilot y más.
Auditor y planificador de pruebas A/B es un skill de IA de experimentación: una calculadora de significancia y auditoría de test A/B que comprueba significancia estadística, tamaño de muestra y sample ratio mismatch (frecuentista o bayesiano) y da un veredicto claro lanzar / esperar / iterar.
Qué hace este skill
- Planificación: tamaño de muestra, duración, plausibilidad del MDE (binario y continuo)
- Auditoría de resultados con checklist de validez (sample ratio mismatch, peeking, potencia, novedad, calidad de datos)
- Análisis frecuentista (test z/Welch-t, intervalo de confianza, corrección por comparaciones múltiples)
- Análisis bayesiano (posterior, P(B>A), intervalo creíble, pérdida esperada)
- Informe de guardarraíles y (de forma exploratoria) de segmentos
- Recomendación clara Lanzar / Esperar / Iterar con impacto de negocio
- Procesa métricas agregadas O datos CSV/de eventos en bruto
Descripción
Auditor y planificador de pruebas A/B es un skill para pruebas A/B estadísticamente sólidas: planifica y audita tus pruebas con todo el rigor, detecta riesgos ocultos como el sample ratio mismatch y da una recomendación clara ship/hold/iterate. La mayoría de los tests A/B se planifican o se leen mal: muestras demasiado pequeñas, peeking, potencia insuficiente o splits de tracking rotos. Un test lanzado por error cuesta ingresos reales. Este skill aporta rigor de analista a cualquier equipo: planifica de antemano el tamaño de muestra y la duración, comprueba la validez de los tests terminados (SRM, peeking, potencia, novedad, guardarraíles), calcula la significación + el intervalo de confianza/creíble + la pérdida esperada, y lo traduce todo en una decisión de despliegue clara, sin necesidad de un título en estadística.
Ejemplos
Respuestas de ejemplo. Pueden variar según la IA y el modelo.
Qué no hace
- No inventa ideas de optimización ni hipótesis
- Sin diseño de funnel ni de landing page
- Sin textos publicitarios ni creatividades
- Sin benchmarks de sector (« ¿3 % es bueno? »)
Compatibilidad y técnica
- Probado (interno)
- 3 escenarios
- Runtime recomendado
- Con una herramienta de código/análisis (Claude Analysis, ChatGPT Data Analysis) para estadística exacta; también funciona sin ella, entonces con aproximaciones señaladas.
- Modos
- Planificación · Auditoría
- Entradas
- Métricas agregadas · Datos CSV/de eventos
- Formato de salida
- Informe Markdown (veredicto, comprobaciones de validez, estadística, recomendación)
- Subcategoría
- Experimentación / tests A/B
- Licencia
- Proprietär
Perfil de seguridad
Se ejecuta por completo en tu equipo con tu propia IA, sin runtime externo, sin costes recurrentes.
Solo instrucciones, plantillas y referencias, sin scripts ejecutables.
Funciona sin conexión con lo que proporcionas, no llama a servicios externos por sí mismo.
Qué incluye
- ab-test-auditor-2.6.2/4 archivos
- .claude-plugin/marketplace.json
plugins/ab-test-auditor/skills/ab-test-auditor/4 archivos
- SKILL.md
- manifest.json
references/2 archivos
- ab-test-auditor-checklist.md
- methods.md
- .agents/skills/ab-test-auditor/→ universal, mismo contenido (Codex, Cursor, Copilot, Gemini, Windsurf, Cline)
- LICENSE.txt
Instalación
También como prompt de chat
¿Sin herramienta de IA? Pégalo en Claude, ChatGPT o Gemini y usa el método al instante.
Este skill no trae scripts, así que el prompt lleva su método completo.
Instalarlo es la versión completa. Se activa solo, ejecuta sus scripts y carga referencias cuando hacen falta. Como prompt de chat, tú conduces el método.
Desbloquéalo para copiar el prompt listo para pegar, luego en «Mis skills».
Reseñas
Nota
Apoyo a la decisión según los datos aportados, sin garantía de éxito.
Historial de cambios
- v2.6.225.09.2026Compatibilidad actualizada: proyectos de ChatGPT y subida de skills (Business/Enterprise/Edu) en lugar de los GPT personalizados, que OpenAI retira a finales de 2026.
- v2.6.124.09.2026Actualización de mantenimiento: las preguntas de seguimiento ahora usan la herramienta de preguntas nativa de tu plataforma (3 preguntas como máximo, opción recomendada primero, lista numerada como alternativa, nunca bloquea ejecuciones desatendidas). Además, tipografía más limpia en todos los archivos entregados.
- v2.6.022.06.2026Salida nativa de la plataforma: ahora usa activamente el formato nativo de tu plataforma: tablas, listas de control, bloques de código y opciones clicables/botón, con alternativa numerada en plataformas no interactivas. Además, metadatos internos que preparan el próximo constructor de agentes.
- v2.5.018.06.2026Renovado al estándar AUTHORING v2: ejemplos de entrada/respuesta realistas (incl. un caso de calibración), checklist(s) para copiar y evals internas; referencias cruzadas añadidas.
- v2.4.018.06.2026Añadido references/methods.md: referencia detallada (divulgación progresiva); el SKILL.md queda conciso.
- v2.3.010.06.2026Fiabilidad de cálculo: usar una herramienta de código; si no, señalar la aproximación.
- v2.2.010.06.2026Transición elegante para solicitudes fuera de alcance.
- v2.1.010.06.2026Corregido un número de tamaño de muestra erróneo en un ejemplo.
- v2.0.010.06.2026Modo planificación, motor bayesiano, manejo de CSV, enrutador de modos.
- v1.0.010.06.2026Auditoría frecuentista con checklist de validez.
Preguntas frecuentes
¿Qué hace Auditor y planificador de pruebas A/B?
Auditor y planificador de pruebas A/B es un skill de IA de experimentación: una calculadora de significancia y auditoría de test A/B que comprueba significancia estadística, tamaño de muestra y sample ratio mismatch (frecuentista o bayesiano) y da un veredicto claro lanzar / esperar / iterar.
¿Cuándo una prueba A/B es estadísticamente significativa?
La significancia depende del tamaño de muestra, el efecto y el nivel de confianza, y no todo ganador en verde se sostiene. Auditor y planificador de pruebas A/B lo comprueba con todo el rigor estadístico y te da una recomendación clara ship/hold/iterate en lugar de intuición.
¿Qué es un sample ratio mismatch (SRM)?
Un SRM significa que los usuarios no se repartieron entre las variantes como se esperaba, un riesgo silencioso que invalida los resultados. Auditor y planificador de pruebas A/B detecta justo estos problemas ocultos antes de que saques conclusiones erróneas.
¿Cuántos visitantes necesito para una prueba A/B?
El tamaño de muestra necesario depende de la tasa base, el efecto esperado y el nivel de confianza. Auditor y planificador de pruebas A/B lo planifica de antemano (frecuentista o bayesiano) para que tu prueba sea realmente significativa.
¿Frecuentista o bayesiano, cuál es mejor para pruebas A/B?
Ambos enfoques son válidos y encajan según la situación. Auditor y planificador de pruebas A/B domina los dos y aplica el método adecuado con todo el rigor.
¿Con qué herramientas de IA funciona Auditor y planificador de pruebas A/B?
Claude (Projects y prompt de sistema) · ChatGPT (proyectos, instrucciones personalizadas, skills en Business/Enterprise/Edu) · Cualquier LLM con cálculo · Motor: frecuentista · Motor: bayesiano
¿Cómo uso Auditor y planificador de pruebas A/B?
Auditor y planificador de pruebas A/B es un SKILL.md en el estándar abierto agentskills.io: instálalo con un comando (npx) o descárgalo y añádelo a tu herramienta de IA: Claude (Projects), ChatGPT (Skills o proyecto), Cursor, Copilot, Gemini CLI y más. Sin código.