26 febrero, 2017

El A/B Testing es un método para comparar dos versiones distintas de una página web o aplicación con el objetivo de determinar cuál de ellas funciona mejor. Por tanto se trata de un experimento en donde los visitantes o usuarios son distribuidos, de forma aleatoria, entre cada una de las versiones. Con ello se puede conocer, de forma estadística, cuál de las versiones tiene un mejor rendimiento en base a un objetivo de conversión dado.

ab-testing

El comparar dos versiones distintas de una misma página web o aplicación nos permite resolver las cuestiones que teníamos de como nuestro diseño está influyendo a la conversión.

¿Por qué deberías empezar a testar?

A/B Testing permite mejorar los ratios de conversión de nuestros procesos. Tanto si trabajas en una empresa B2B, como B2C, el Test A/B debería ser parte de la cultura empresarial y del ADN de la empresa.

Los costes por adquisición de los clientes en cualquier empresa suelen ser fijos y están determinados por factores como el gasto publicitarios o los ratios de conversión.

Testando podemos conseguir mejorar nuestros ratios. Esto hará bajar el coste por adquisición de nuestros clientes o cualquier otro coste que esté estrechamente relacionado con la conversión en alguno de los procesos. Además nuestros clientes obtendrán una mejor experiencia en nuestro sitio web o aplicación por lo que la posibilidad de recomendación será mayor.

crecimiento-test-ab

Con una buena estrategia de Test A/B seremos capaces de aumentar las conversiones en nuestros negocio, aumentando consecuentemente los beneficios.

Cuando se realiza Test A/B se suele caer en el error de realizar pruebas esporádicas en el tiempo. La visión de una buena estrategia de A/B Testing debería ser mucho más compleja y ambiciosa que la realización de pruebas puntuales. Una buena estrategia de testing debería abarcar un roadmap de pruebas en donde aprender día tras día e iterar en nuestros procesos o servicios.

Proceso de Test A/B

El framework típico estándar está formado por los siguientes puntos:

  • Analizar nuestro sitio web o aplicación: para descubrir qué testar, tendremos que analizar nuestro sitio web o aplicación. Con este análisis seremos capaces de identificar los puntos de mejora. Estos puntos serán las mayores caídas de conversión que podamos encontrar en nuestros funnels.
  • Identificar objetivos y KPIs: una vez sepamos dónde vamos a testar, nuestro labor será la de identificar y definir nuestra métrica objetivo y los KPIs que la definan. Estás métricas o KPIs podrán ser clics en un CTA, compras, valor medio de carrito, descargas…
  • Generar hipótesis: una hipótesis es una suposición en base a los datos que hemos analizado. ¿El botón de compra está poco visible? ¿El mensaje no está claro y confunde al usuario?… Cuanto mejor sea nuestro análisis mejores hipótesis obtendremos y más probabilidades tendremos de realizar un test A/B con resultado positivo.
  • Crear el test: con las hipótesis definidas anteriormente tendremos que crear cada una de las variaciones del test. “Si el botón no es visible, situémoslo más arriba”, “Si el mensaje no está claro, cambiémoslo con bullets y una literatura sencilla”. Aquí será el momento también de asegurarnos de que tenemos suficiente tráfico para ejecutar el test y que la calidad del mismo es la deseada.
  • Poner en marcha el experimento: ¡por fin tendremos nuestro primer test funcionando! Ahora es el momento de esperar a que este finalice. Dependiendo del tráfico, la duración del test será diferente para cada caso, la recomendación es que éste debería estar funcionando por encima de dos semanas y por debajo de cinco.
  • Analizar resultados e implementar: una vez finalizada la prueba, es el momento de analizar los resultados. Tendremos que asegurarnos de que la confianza estadística es buena, que el resultado no es un falso positivo y que éste ha sido satisfactorio. Aunque la métrica principal será la que más peso tenga en nuestro análisis, también será interesante segmentar y analizar otras métricas que nos puedan dar insights para futuras pruebas.

El Test A/B debe ser un proceso constante e iterativo de mejora continua de nuestras páginas o aplicaciones.

La estadística detrás del A/B Testing

Hoy en día, cualquier software que nos permita hacer A/B Testing nos simplifica la estadística que hay por detrás. En general, estas herramientas no muestran cada uno de los cálculos y números que utiliza para ofrecer los reportes de nuestras pruebas Pero, cuando se trabaja con Test A/B, es necesario comprender algunos conceptos básicos que nos ayudarán a realizar los análisis:

  • Ratio de conversión: el ratio de conversión es el porcentaje de la división del número de usuarios que llegan al objetivo entre el total de usuarios que entran al funnel. En el caso del A/B Testing, el funcionamiento será el mismo. Sin embargo hay que tener en cuenta que el cálculo se ha de realizar independientemente para cada una de las versiones del test. Por tanto existe un ratio de conversión distinto por cada una de las experiencia.

RC = (Objetivos_alcanzados / Inicios_funnel) * 100

  • Incremento de mejora: el incremento de mejora de la conversión es el valor que nos indica, en porcentaje, cuanto mejor funciona una experiencia respecto a la original. El cálculo es el siguiente:

IM = ((RC_version_alternativa – RC_version_original) / (RC_version_original)) * 100

  • Nivel de confianza o confianza estadística: es el porcentaje de veces que un resultado debería ser correcto tomando numerosas muestras aleatorias. Otra definición igualmente válida, es el porcentaje de certeza de que el resultado del experimento sea el mismo si lo replicamos en el tiempo. En resumen, este valor nos indica la fiabilidad de nuestro test. Las formulas del cálculo de la confianza estadística son bastante complejas. No te alarmes por la posible dificultad que pueda presentar la realización de los cálculos, la confianza estadística es calculada de forma automática por las herramientas de A/B Testing disponibles en el mercado. Suele ser un estándar, el dar como ganadoras a versiones de test que obtengan una confianza estadística superior al 92-95%.

Estos son los conceptos básicos de la estadística de Test A/B. Sin embargo existen otra multitud de conceptos como el p-value o el margen de error que se usan en los cálculos. Aunque no es necesario dominarlos para el trabajo con las metodologías de testing, es interesante al menos tener conocimiento de ellos.

Tipologías de los experimentos

Aunque el A/B Testing es el más extendido y el más usado existen otras tipos de experimentos que podemos emplear para mejorar la conversión. Todos ellos tienen la misma base: comparar el rendimiento de distintas versiones en base a un objetivo. Cada una de ellas cuenta con sus ventajas y desventajas. La opción de decantarnos por una u otra dependerá de múltiples variables y de las necesidades internas que tengamos.

Test A/B/n

Más que una variación del A/B Testing es una extensión. En el Test A/B puro, existirán dos versiones con las que experimentar. La de control u original (A) y una alternativa (B).

En cambio, en un Test A/B/n, podrán existir múltiples versiones con las que comparar (C, D, E,… n). La clara ventaja que ofrece esta metodología de testing es poder testar más variaciones de los elementos en nuestras páginas. Aunque existen algunas desventajas que nos podrían hacer no decantarnos por esta opción de Test A/B.

Test A/B/n

La primera desventaja hace referencia a la ejecución del test y a los recursos disponibles. Más versiones supone más esfuerzo para generar cada una de las versiones, tanto el diseño como el desarrollo y las pruebas de calidad del test.

La segunda desventaja que nos encontramos se sitúa en el ámbito de la estadística detrás del Test A/B. El problema es que la confianza estadística depende directamente del ratio de conversión entre las versiones, y por tanto del número de visitantes y conversiones por versión. Por tanto cuantas más versiones más número de visitantes y conversiones necesitaremos. Al incrementar el número de variaciones incrementaremos también el número de visitantes y conversiones que necesitaremos para que un test sea concluyente (Confianza Estadística >95%).

Además de esto se deriva otro problema estadístico llamado problema de la múltiple comparación. Sin entrar en tecnicismos matemáticos, para resolver este problema, necesitaremos aplicar la corrección de Bonferroni. Al igual que ocurría en el caso anterior, la corrección de Bonferroni necesitará más visitantes y conversiones para generar una válida confianza estadística.

Test Multivariante

En esta tipología de test cada uno de los elementos a testar es combinado con diferentes versiones del mismo, creando con ello una multitud de versiones. El cálculo del número de versiones, o combinaciones, de un test viene dado por la siguiente fórmula:

Número versiones = (nº_versiones_elemento_1) x (nº_versiones_elemento_2) x … x (nº_versiones_elemento_n)

Ejemplo 1: un test en donde se quiere probar dos elementos distintos, teniendo en cuanta que queremos probar dos versiones de cada uno de los elementos. Tendría el siguiente número de versiones:

Número versiones = 2 x 2 = 4

test-multi-variable

Al igual que ocurría con el Test A/B/n, en esta ocasión el número de elementos añade complejidad a la ejecución del test, lo que significa más trabajo y tiempo en el diseño de los elementos y en la programación del test. Aunque el mayor problema de esta disciplina de A/B Testing es el número de versiones y por tanto, el número de visitantes necesarios en nuestra página para conseguir una confianza estadística válida.

Ejemplo 2: Un test con dos elementos, en donde cada uno de los elementos dispone de tres versiones. El total de combinaciones a testar va a ser de 9. Para hacer el cálculo del número de visitantes necesarios para ejecutar correctamente este test, vamos a suponer que esperamos conseguir un incremento en alguna de las combinatorias del 10%. Además nuestra conversión original de la página se sitúa en torno al 10% también. Usando la calculadora de muestras de Adobe llegamos a la conclusión de que necesitaremos 4 semanas y 5000 visitantes únicos diarios para alcanzar una confianza del 95% (suponiendo que alguna de las combinatorias va a incrementar nuestra conversión en un 10%). Así mismo, si aplicamos la corrección de Bonferroni, aumentaremos aún más el número de semanas, subiendo éstas a 7.

Por otro lado, existe otro problema en relación a los elementos y es que las versiones de los elementos no serán demasiado sustanciales: cambiar un copy, un color… Debido a esto, no es de esperar, que el incremento de la conversión que podamos experimentar con ello sea ínfima.

Pero no todo son malas noticias en torno al test multivariante. Lo cierto es que éste es extremadamente útil cuando queremos conocer el peso de los elementos de una página web. Es decir, que aporta más valor a la conversión ¿el copy de la cabecera?, ¿una imagen de fondo?, ¿el color del CTA?… Y todo esto con el objetivo de enfocar nuestros esfuerzos en futuros tests A/B en ellos.

Actualmente, cualquier herramienta de Test A/B que incluya multivariante, contará con un sistema de estadísticas bastante completo, en donde nos arrojará el resultado de la influencia de cada uno de los elementos para la conversión y cual es la mejor combinatoria de ellos.

En resumen, para la correcta ejecución de un test multivariable necesitaremos un alto tráfico. Además, la verdadera utilidad viene dada, por el cálculo de la influencia de los elementos y en la posibilidad de optimizar al máximo pequeños elementos de página.

Test A/A

Esta prueba no nos ayudará a validar una hipótesis de usabilidad de nuestra web, nos ayudará a validar la hipótesis de si una herramienta de A/B Testing nos está funcionando de forma correcta en nuestra web, o por el contrario, no lo está haciendo. Con esta tipología de test seremos capaces de validar si una herramienta está bien implementada.

El uso es simple, basta con crear una versión alternativa sin ninguna modificación. Con esto conseguiremos verificar la calidad de nuestra implementación y el funcionamiento de la herramienta. Una vez lanzada, tendremos que comprobar que los ratios de conversión a objetivo se mantienen similares y por tanto no debe existir confianza estadística que haga vencedora a ninguna de las versiones.

Por el contrario, si obtenemos una versión ganadora o datos atípicos, deberemos revisar con un profundo análisis qué está pasando con nuestra implementación, para extraer una hipótesis del mal funcionamiento de nuestra herramienta.

Por tanto, la realización de A/A Testings, será necesario en estadios primarios de una estrategia de A/B Testing para verificar la calidad de nuestras implementaciones. De forma recurrente, también podremos realizar alguna prueba A/A para comprobar que nuestra herramienta sigue funcionando con normalidad, en estadios más maduros de nuestra estrategia.

Multi Armed Bandit Test y otros algoritmos

El Armed Bandit Test, más que un tipo de test es una operación estadística para la distribución del tráfico en Tests A/B o A/B/n.

En un Test A/B, el tráfico es distribuido por una elección del desarrollador del test, normalmente al 50% para cada versión. Esta distribución puede modificarse debido a que, en el cálculo de la confianza estadística, los valores más influyente son el ratio de conversión y el incremento (o decremento) entre ellos.

El objetivo de un Armed Bandit Test es rentabilizar al máximo nuestro número de conversiones. Por ello, de forma automática, este tipo de test distribuirá el tráfico entre ambas versiones, llevando más visitantes a aquellas versiones con mejor conversión y menos a las que cuentan con un menor ratio. Todo esto trabaja bajo un algoritmo que calcula la confianza estadística, ajustando el porcentaje de visitantes que recibe cada versión.

multi armed bandit test

Optimizar con estos algoritmos pueden producir mejores resultados que los Tests A/B. Aunque existen algunas desventajas que habrá que revisar antes de decidirnos a realizarlos. Una de ellas es la velocidad con la que los Armed Bandit llegan a alcanzar una confianza estadística significativa, más baja que en la de los A/B. Otra desventaja es que no todas las herramientas de testing lo ofrecen o incrementan su precio si lo incluyen en el producto. Además la generación de insights y aprendizajes de esta tipología se hace más complicada que con los tests A/B convencionales.

En definitiva, aunque un Multi Armed Bandit puede ser usado en cualquier situación. La recomendación es ser usado en donde tengamos un pico inicial que tenemos que maximizar en cuanto a beneficios se refiere ya que el tráfico se reducirá con el paso del tiempo. Algunos ejemplos podrían ser: el título de un nuevo post, la landing de una newsletter…

Ideas de Test A/B

Una buena idea de test debería estar basada en una gran hipótesis. Cuanto mejor sean nuestros análisis, mejores hipótesis podremos extraer y por tanto mejores pruebas seremos capaces de llevar a cabo.

Aunque una versión de test debe estar basada en una hipótesis, estos son algunos elementos que otras empresas suelen probar:

  • CTAs: incluyendo colores y copys
  • Layout de nuestras webs/apps
  • Landing pages
  • Modales y popups
  • Mensajes
  • Flujos de navegación
  • Imágenes
  • Resultados de búsqueda
  • Componentes Cross-sell
  • Promociones
  • Elementos de navegación
  • Formularios: errores, disposición de los campos, estructura…
  • Elementos estructurales: carrito, menú…
  • Eliminación de puntos de fuga como enlaces innecesarios

Herramientas de A/B Testing

En el mercado existen multitud de herramientas para realizar Test A/B. Cada una cuenta con sus ventajas y desventajas que tendrán que ser estudiadas. Tendremos que encontrar una herramienta que se nos adecue a nuestras necesidades bien sean tecnológicas, de negocio o económicas. Estas son solo algunas de las herramientas más conocidas en el mercado:

Con orientación a gran empresa:

Do’s y Don’ts en Test A/B

Do’s

  • Usar una herramienta de Test A/B. Esto simplificará el proceso y nos ahorraremos muchos quebradereos de cabeza.
  • Crear un plan de test. Como bien se dijo antes, el proceso de Test A/B debería de ser iterativo y planificado. Tener un framework de trabajo para nuestras pruebas priorizado es muy importante en nuestra estrategia de optimización.
  • Realizar pruebas de calidad, antes del lanzamiento, de nuestras versiones. Con esto nos aseguraremos la viabilidad técnica del test.
  • Realizar pruebas A/A para asegurarnos de que nuestra herramienta funciona con normalidad.
  • Definir correctamente nuestras métricas objetivo y KPIs.
  • Prolongar la duración de los tests un mínimo de dos semanas y un máximo de cinco semanas. Cuando lanzamos un test se suelen tener una serie de irregularidades debidos a varios factores como la confusión de los usuarios recurrentes. Por ello una buena práctica es mantener un resultado ganador como mínimo dos semanas en el tiempo. Además un máximo de cinco semanas ya que la probabilidad del borrado de cookies por parte de los usuarios podría aumentar y esto sesgaría nuestros resultados de test.
  • Crear variaciones importantes cuando no se dispone de demasiado tráfico. La confianza depende directamente del número de visitantes y de la conversión. Cuando no se tiene demasiados visitantes, lo ideal es testar cambios muy significativos que vayan a alterar por completo la experiencia de usuario. Así conseguiremos una confianza estadística mayor en menor tiempo y con menor tráfico.
  • Analizar eficientemente los datos para obtener mejores hipótesis.
  • Aprender de otros. ConversionXL es el blog de CRO más representativo sobre A/B Testing.

Don’ts

  • No usar datos ni hipótesis y basar nuestras decisiones en subjetivismos. Evita el ego a toda costa.
  • No realizar varias pruebas simultaneas sobre el mismo funnel. Si lo hacemos, seremos incapaces de conocer la atribución de cada uno de los tests. Existe la posibilidad de realizar varios tests en un mismo funnel, pero antes tendremos que asegurar que el tráfico está excluido entre ellos.
  • Test A/B en tendencia no es Test A/B. Los ratios de conversión varían con el tiempo debido a muchas variables como el día, la hora, la estacionalidad de los productos, agentes externos… Esto hace que sea casi imposible comparar los ratios de conversión en dos momentos de tiempo distintos. El Test A/B se ha de realizar en paralelo ya que el ratio de conversión en el periodo podrá cambiar de forma simultanea en cada una de las versiones de nuestras pruebas.
  • Siempre usa la confianza estadística para dar válido tu test. Una confianza estadística inferior al 95% no es fiable.
  • No realices pruebas en páginas con estacionalidad. Una estacionalidad que suponga una alteración del tráfico normal de la página podría llegar a sesgar los resultados.

Conclusión

Como has podido leer, el Test A/B es una potente herramienta que nos ayudará a mejorar la experiencia de nuestros usuarios y aumentará nuestra conversión. La realización de las pruebas A/B debería ser un proceso continuado y estratégico. El A/B Testing debería forma parte de la cultura empresarial, siendo una de las palancas más poderosas de marketing en las que nos podemos apoyar.

El proceso de testing cuenta con seis pasos: analizar – identificar objetivos y KPIs – generar nuestras hipótesis de test – crear y asegurar la calidad del test – lanzar el experimento – analizar los resultados e implementar la versión ganadora.

Existen multitud de tipologías de pruebas que podemos realizar. La aplicación de una u otra dependerá de factores como el tráfico, el tipo de página (formulario, landing, home…) y otros factores como la propia experiencia y el sector en el que nos desenvolvamos.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *