Cómo hacer un test A/B de tu barra de envío gratis en Shopify

Qué mide el test

Un test A/B mide una sola cosa: cuánto te aporta la barra de progreso. Cada visitante entra al azar en uno de los dos grupos. El primer grupo ve tu tienda como hoy, con la barra y tus niveles. El segundo grupo compra sin la barra. Al final, Yaco compara los ingresos por visitante de los dos grupos.

Un visitante se queda en el mismo grupo de una página a otra y en sus siguientes visitas, y de un dispositivo a otro si ha iniciado sesión en su cuenta de cliente. El sorteo se hace en el navegador, con la configuración ya cargada: el test no ralentiza tu tienda.

Qué reciben los visitantes sin la barra

Tú eliges qué pierde este grupo. Con La barra y sus ofertas, no tiene ni la barra, ni tus regalos, ni los descuentos de Yaco: el test mide todo lo que te aporta la barra. Con Solo la barra, conserva sus regalos y descuentos: el test mide lo que añade mostrar la barra a tus ofertas.

En ambos casos:

• No ven la barra de progreso en ninguna parte: ni en el carrito lateral, ni en la página del carrito, ni en las páginas de producto, ni en los bloques de app, ni en el checkout.
• Las recomendaciones de productos se siguen mostrando, sin ninguna mención a los niveles.
• Las ofertas que no vienen de Yaco siguen igual, como tus tarifas de envío, tus propios descuentos automáticos y los códigos de descuento.

Con La barra y sus ofertas (la opción por defecto):

• No se desbloquea ningún nivel: no se añade ningún regalo, el selector de regalo nunca se abre y no se aplica ningún descuento ni envío gratis de Yaco, ni en la tienda ni en el checkout. Si ya tenían un regalo en el carrito, se retira.

Con Solo la barra:

• Los niveles se desbloquean como siempre: se añaden los regalos, el selector de regalo se abre cuando hay que elegir, y los descuentos y el envío gratis de Yaco se aplican, en la tienda y en el checkout. Solo se ocultan la barra, el resumen de ofertas y la mención de nivel en las recomendaciones: el selector de regalo, el botón de regalo y la lista de regalos se mantienen, para que tus visitantes puedan reclamar su regalo.

Solo se prueba tu tema publicado. El editor de temas y las vistas previas de tema siempre muestran la barra. Los visitantes cuyo navegador bloquea el almacenamiento, como hacen algunos modos privados, quedan fuera del test: ven la barra y no se cuentan.

Quién puede usarlo

Los tests A/B están incluidos en todos los planes de pago: Starter, Premium, Optimize y los planes antiguos que ya no se ofrecen. El plan gratuito no los incluye. La entrada de menú Test A/B (Beta) se ve en todos los planes; en el plan gratuito, la página presenta la función y lleva a los planes. Si pasas al plan gratuito o desinstalas la app con un test en curso, el test se detiene. Consulta suscripción y la página de precios.

Lanzar un test

1. Abre Test A/B (Beta).
2. En Elige un ajuste, haz clic en 50/50, 70/30, 80/20 o 90/10. Cada uno muestra su duración recomendada para tu tienda, y un clic fija a la vez el reparto y la duración. El 50/50 lleva la etiqueta El más rápido. Para ajustar el reparto tú mismo, mueve el control deslizante Reparto de visitantes, del 1 % al 99 % de los visitantes con la barra, de uno en uno.
3. En Diferencia que detectar, deja el 15 % (estándar) o elige el 20 % (diferencia grande) o el 10 % (diferencia fina). El test concluye si la barra cambia los ingresos por visitante en al menos esa diferencia.
4. En Qué pierden los visitantes sin la barra, deja La barra y sus ofertas o elige Solo la barra.
5. En Duración, deja la duración recomendada o elige otra, de 1 a 8 semanas.
6. Haz clic en Lanzar el test. Una ventana resume el test antes de que empiece: su duración, su fecha de fin, la parte de los visitantes que no tendrán la barra y lo que pierden. Confirma para lanzarlo.

Solo puede haber un test en curso a la vez. El reparto, la diferencia que detectar, la duración y lo que pierden los visitantes sin la barra no se pueden cambiar mientras el test está en curso: detenlo y lanza uno nuevo. Cuando empieza el test, recibes un email con un enlace para abrirlo.

Cómo se recomienda la duración

Yaco lee los pedidos de tu tienda online de los últimos 28 días: cuántos recibes al día y cuánto varían sus importes. A partir de ahí, calcula cuántos pedidos necesita el test para detectar la diferencia que elegiste en los ingresos por visitante con los criterios habituales (95 % de confianza, 80 % de potencia), y lo convierte en semanas.

• La duración se redondea a la semana completa, para que cada día de la semana pese lo mismo: de 1 a 8 semanas.
• Cuanto más fina es la diferencia que detectar, más pedidos necesita el test, así que más dura. Una diferencia dos veces más fina pide cuatro veces más pedidos.
• Un reparto distinto del 50/50 necesita más pedidos, así que la duración recomendada aumenta. Cerca de los extremos, como 95/5, supera enseguida las 8 semanas.
• El máximo es de 8 semanas. Si tu tienda necesitara más, el test se ajusta a 8 semanas y el formulario te indica la diferencia más pequeña que todavía puede detectar.
• Con muy pocos pedidos recientes, o si Yaco no puede leerlos, la duración se ajusta al máximo.

El icono ⓘ junto a cada duración recomendada muestra el cálculo: los pedidos necesarios, divididos entre los pedidos que recibe tu tienda al día, dan un número de días, redondeado a la semana completa.

Si eliges una duración más corta que la recomendada, el formulario te indica la diferencia más pequeña que el test todavía podrá ver.

Seguir el test

La página Test A/B (Beta) muestra el test en curso: el día, los ingresos por visitante de cada grupo, la diferencia entre ellos, la probabilidad de que la barra aporte más y cuántos pedidos ha recogido de los que necesita. El número de pedidos necesarios se fija al lanzar el test y no cambia mientras dura. Una tabla añade Valor medio del pedido, Tasa de conversión, Pedidos, Visitantes, Ingresos y Pedidos por encima de un nivel para cada grupo.

Las cifras cambian mucho los primeros días. No detengas el test en cuanto aparezca una diferencia: es la forma más habitual de obtener un resultado falso. Cuando se reúnen los pedidos necesarios y el test lleva al menos 2 semanas (o la semana prevista en un test de 1 semana), la página muestra Muestra alcanzada: puedes detener el test sin perder su veredicto. Si no, sigue hasta su final previsto.

La página de inicio de la app muestra una versión resumida del test en curso. Mientras dura, las demás cifras de la página de inicio mezclan los dos grupos.

Tu equipo nunca entra en el sorteo: un navegador o una cuenta de cliente que queda fuera de las estadísticas, a mano o automáticamente, siempre ve la barra, y sus visitas y pedidos no cuentan (consulta estadísticas). Si nunca caes en el grupo sin barra, es por eso.

En Comprueba las dos versiones, dos enlaces abren tu tienda en uno u otro grupo, para que veas lo que reciben tus visitantes. Son la única forma de que tu equipo vea la tienda sin la barra. Las visitas por estos enlaces cuentan en su grupo, salvo las de tu equipo: marca Contar las visitas de mi equipo para contar las visitas y los pedidos que haga con ellos.

Detener un test

Haz clic en Detener el test y confirma. Todos tus visitantes vuelven a ver la barra. Puedes detener un test cuando quieras. Con Muestra alcanzada, conserva su veredicto. Antes, su resultado solo es una tendencia. La confirmación te dice en qué caso estás.

Leer el resultado

El test se detiene solo al final de la duración prevista, y recibes un email de resumen. También lo recibes si detienes el test tú mismo. La página muestra entonces:

• el veredicto: La barra te aporta más, Tu tienda funcionó mejor sin la barra, Ninguna diferencia medible, No hay suficientes pedidos para concluir o, para un test detenido antes de su fecha de fin sin los pedidos necesarios, Test detenido antes del final: sin veredicto;
• la diferencia de ingresos por visitante en grande: en verde si gana la barra, en rojo si tu tienda funcionó mejor sin ella;
• si la duración fue suficiente: al menos 2 semanas (o la semana prevista en un test de 1 semana) y, además, el número de pedidos necesario o el final previsto con una diferencia significativa;
• los ingresos por visitante de cada grupo y la tabla completa.

Cómo funciona la comparación:

• Los ingresos por visitante son el subtotal de los pedidos de un grupo dividido entre sus visitantes. Cuentan los dos efectos de la barra: más pedidos y carritos más grandes.
• Los pedidos que superan un tope cuentan por el importe del tope, para que un pedido excepcional no decida el test. El tope es el percentil 99 de los importes de tus pedidos, fijado al lanzar el test.
• Una diferencia es significativa a partir de una confianza del 95 %. Por debajo, puede deberse al azar. El ganador solo se decide al final previsto del test, o antes si ya se reunieron los pedidos necesarios, pero nunca antes de 2 semanas. Un test previsto para 1 semana concluye en su fecha de fin. Un test detenido antes solo da una tendencia.
• Cuando los dos grupos no tienen la proporción de visitantes esperada, un aviso en la parte superior de la página te lo dice: puede que una caché, un script u otra app esté alterando el reparto. No te fíes todavía del resultado y usa su botón Contactar con soporte.

Los tests anteriores siguen en la lista Tests anteriores, cada uno con una etiqueta de veredicto: Gana la barra, Mejor sin la barra, Sin diferencia o No concluyente. Los tests que terminaron antes de que existieran estas etiquetas no la tienen. Puedes eliminar un test cuando ha terminado.

Después del test

Cuando el test termina, todos los visitantes vuelven a ver la barra: no hay nada que reactivar. Si la barra aportó más, déjala como está. Si tu tienda funcionó mejor sin ella, la página del resultado te lleva a tus niveles: un umbral demasiado alto puede desanimar a parte de los clientes. Si el test no fue concluyente, Relanzar con estos ajustes abre el formulario de lanzamiento con el mismo reparto, la misma diferencia que detectar y la misma elección de lo que pierden los visitantes sin la barra.