1 abril, 2020

La realización de un test AB no es gratis, tras lo que parece una simple prueba, existe un coste inherente y aparentemente no visible de tiempo, personas, recursos y herramientas. Para evitar que ese coste sea en balde y garantizar una consistente estrategia de CRO, tendremos que analizar si nuestras propuestas de tests son viables estadísticamente antes de poder llevarlos a cabo.

Adobe Target Sample Size Calculator es una calculadora que estima, para un volumen de usuarios y nuestra conversión, cuantas semanas necesitaré prolongar la prueba y cuánta diferencia entre conversiones necesitaremos.

Los campos que aparecen en dicha calculadora son los siguientes:

  • Confidence Level: nivel de la confianza estadística que queremos alcanzar. Por defecto al 95% (recomendable no modificar)
  • Total Number of Daily Visitors. Ojo, es por día! ¿cuántos visitantes únicos, de media, tenemos en la página en la cual queremos realizar la prueba? Lo ideal es hacer la media de visitantes únicos por día de las últimas 4 semanas
  • Statistical power: por defecto al 80% (recomendable no modificar)
  • Number of Offers Including Control. Para un test AB pondremos 2, un ABC 3, etc…
  • Baseline Conversion Rate (Control Offer). Representa, en porcentaje, el ratio de conversión actual. Página a testar > métrica objetivo

Por último y no por ello menos importante, se encuentra el «Lift (that can be detected with power (80%) probability)”, dicho campo nos indica el incremento de versiones que tenemos que llegar a alcanzar para que el test AB tenga significancia estadística.

Como se observa en la imagen, para el ejemplo se parte de la base de un total de 300 visitantes al día, en la página que se pretende testar, y que actualmente nuestro ratio de conversión es del 10%, de forma estimada tendremos que: para alcanzar un nivel de confianza estadística del 95% para un test de 2 versiones (AB), necesitaré que la versión B mejore el ratio de conversión de A en:

  • 5% para detectarlo necesitaré dejar corriendo el test AB durante 56 semanas
  • 10% para detectarlo necesitaré dejar corriendo el test AB durante 15 semanas
  • 16% para detectarlo necesitaré dejar corriendo el test AB durante 6 semanas

La parte que realmente interesa aquí son los campos de «Lift» y el resultado de «Weeks to Complete Test«. Para el ejemplo la calculadora asume que, para los datos reales introducidos, el test AB necesitará correr en producción durante 6 semanas y la versión B tendrá que tener un ratio de conversión de al menos 11,6% (16% Lift), para obtener un nivel de significancia estadística del 95%. O en otras palabras, si la versión B del test no consigue ser un 16% mejor que la A, no conseguirás una confianza estadística del 95% en 6 semanas.

Los datos que la calculadora de Adobe Target ofrece son estimados, pero nos acercan a la posible realidad del test, ayudándonos en el estudio de la viabilidad.

Te habrás podido dar cuenta que, cuanto menos «Lift» definas en la herramienta más semanas necesitarás correr la prueba, mi recomendación es que no realices un test AB por más de 6 semanas.

En caso de que el incremento (Lift) sea excesivamente alto o que necesites demasiadas semanas para llegar al nivel de significancia estadística, tal vez debas desestimar el test. Lo más probable es que por más tiempo que dejes correr la prueba, nunca llegarás a ese ansiado 95% de confianza.

Llegado a este punto te estarás preguntando, ¿y cómo predigo el impacto de mi Lift? ¿y cuándo se considera un Lift alto o bajo? ¿10%, 20%, 500%…?

Aunque resulta difícil conocer a priori cuanto va a impactar un test AB en nuestros resultados debemos estimarlo. La experiencia con tests previos hará que la estimación sea más precisa cada vez que se usemos la calculadora. Así mismo el incremento detectado también variará en función del tipo de negocio, tráfico, etc. Por ejemplo:

  • Impacto pequeño: Cambiar un texto o un color
  • Impacto medio: Cambiar una imagen y un texto
  • Impacto grande: Cambiar un layout
  • Impacto enorme: Rediseño completo de la web/app

 

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *