Esta es literalmente una guía para comenzar a experimentar en tu empresa con pruebas AB testing y aún más.

Una pieza genial de nuestro invitado Ezequiel Boehler, Data Scientist en Falabella. Desde hace 8 años trabaja en Digital Analytics, realizando trabajos en diseño y recolección de datos, hasta analítica avanzada con modelos de Machine Learning.

Su sitio web, “Blog de LazioB” cuenta sobre las buenas prácticas de experimentación (a/b tests) en marketing y productos digitales.

Hace poco me preguntaron si es que emprendedores o empresas chicas podían experimentar. Si es que era posible dado los tiempos y recursos que se necesitan para realizar un experimento correctamente. 

La respuesta corta es: “por supuesto que pueden experimentar”.

Mi intención con este artículo es explicar la utilidad de experimentar, y porque es muy beneficioso comenzar a hacerlo lo antes posible en la empresa o emprendimiento, y dar algunos puntos sobre qué necesitan para poder hacerlo bien. 

Algunos preconceptos

Es importante entender por qué se cree que la experimentación a veces es irrealizable para determinadas empresas.

1. El tiempo: El diseño de experimentos que la mayoría de la gente conoce, suele requerir muchas observaciones para obtener resultados, y los sitios web / apps / productos digitales de pequeñas empresas necesitan muchísimos días para obtener las observaciones necesarias. Por ejemplo, el test de hipótesis nula más frecuente, para detectar un cambio en la Tasa de Conversión del 10%, requiere 62468 observaciones totales. En el mejor de los casos esas observaciones podrían ser visitantes al sitio, pero si se está experimentando en una página o sección particular, se necesitan 62468 visitantes a esa parte específica, lo que quizá lo hace más difícil (Los invito a que se fijen cuánto tráfico recibe su sitio actualmente para ver en cuantos días obtendrían 62468 visitantes)

2. Los datos: Tener una buena recolección de datos es condición excluyente para realizar experimentación. Pero hoy en día una buena recolección es importante para muchísimas otras otras cosas, desde reportería hasta control de calidad y experiencia de usuario, etc, por lo tanto cualquier empresa que toma en serio su producto debe invertir en la mejor recolección de datos posible respecto a sus necesidades, sea experimentación una de ellas o no.

3. Las herramientas y el conocimiento: Es sabido que en empresas pequeñas, cada empleado suele ocupar más de un “sombrero” y trabajar sobre varios temas a la vez, dado que es crucial optimizar los recursos para la supervivencia y crecimiento de la misma. La buena noticia es que muchas herramientas que nos permiten experimentar son gratuitas. De hecho si utilizan Google Analytics para su recolección de datos, pueden usar Google Optimize, o usar GTM para dividir el tráfico ustedes mismos.

Respecto al conocimiento, no hace falta ser un experto en estadística para experimentar (creo que yo mismo soy la prueba de eso) pero sí un conocimiento mínimo necesario para comenzar y hacerlo bien, que es lo que intento brindar en mi blog. 

Dado que la necesidad de una buena recolección de datos y sus ventajas requerirían todo otro artículo para explicar porqué son importantes, me voy a enfocar en el tiempo y las herramientas y conocimientos para el resto del artículo. Pero primero es más importante contestar la siguiente pregunta:

¿Por qué experimentar?

Esta pregunta tiene muchas respuestas en mi opinión incorrectas, que las pueden encontrar al comienzo de este artículo.

¿Entonces, cuál es la respuesta correcta? La experimentación a través de la estadística nace de la necesidad de descubrir verdades sobre el universo que nos rodea, y la filosofía de la ciencia, o epistemología tienen muchísima influencia en ella.  

Partiendo de ahí fueron surgiendo muchísimos métodos estadísticos que se adecuan a distintas áreas del conocimiento, desde agronomía, hasta medicina, economía y más.

Lo que todas las áreas tienen en común es que de alguna forma u otra buscan poder tomar decisiones en incertidumbre. Y por lo tanto, el mundo de los negocios también es apto para experimentar, dado que es víctima del mismo problema. 

Gerentes, líderes de equipos, emprendedores, todos en algún momento u otro deben tomar decisiones en incertidumbre. Esas decisiones pueden estar ligadas a qué cosa hacer para mejorar nuestra conversión, nuestros ingresos, nuestra experiencia de usuario. 

En empresas pequeñas y medianas el caso suele ser querer generar crecimiento. Si supiéramos a ciencia cierta qué cambios debemos hacer para crecer nuestro negocio no necesitamos experimentar. Pero como no lo sabemos, queremos poder tomar una decisión en la cual confiemos, y acá es donde la experimentación nos puede ayudar. 

Otros efectos que tiene experimentar, y que se aprovechan mucho más cuando uno comienza a experimentar temprano en la vida de la empresa, es que nos va condicionando a una determinada forma de pensar y actuar. Esta forma de pensar está basada en 2 elementos:

1. Humildad: tener la humildad de poder decir “no lo se”, aceptar que uno no tiene siempre la respuesta al problema, pero que está dispuesto a encontrarla. A utilizar los recursos a su disposición para encontrar una respuesta informada, en la que se tenga confianza y actuar basado en eso, y no en algún factor inconsciente, sea emocional, egocéntrico, o de influencias externas impropias al problema.

2. Cuestionar: Es muy común en las empresas que se realicen acciones sin que nadie sepa muy bien porque es lo que se hace. La experimentación nos brinda las herramientas para cuestionar el status quo frente a otras alternativas y de esa forma generar un cambio informado.

La razón por la que creo que es mejor experimentar cuanto antes, es porque una vez que la empresa es muy grande es más común encontrar empleados en cargos altos que, ya sea por experiencia o personalidad, carecen de la humildad necesaria para decir que no saben la respuesta a algo. Y también, cuando la empresa es grande, algunos procesos o actividades de la misma pasan a ser tan complejos y burocráticos que nadie quiere tomarse la molestia de cuestionar si deberían seguir haciéndose o si se pueden hacer mejor. 

En cambio si uno experimenta desde temprano, se va generando una cultura de experimentación entre los participantes y sus procesos que debiera mitigar esos dos tipos de problemas.

¿Por dónde comenzamos?

Si lo que buscamos es poder tomar una decisión en incertidumbre, entonces debemos comenzar por la decisión! Mi consejo sobre cómo experimentar de forma tal de obtener la mayor coherencia con el negocio es la siguiente:

1. Identificar el problema o pregunta: ¿Qué experiencia genera más leads?, ¿Cuánto afecta el precio del envío en la tasa de conversión?, etc.

2. Establecer cuál sería la decisión que tomarían si no pudieran experimentar. (Dejar la experiencia tal cual está, no modificar el precio de envío)

3. Pensar que información/evidencia necesitan ver para tomar otra decisión distinta a la del punto 2 (Información que disminuya su incertidumbre, puede tener en cuenta riesgos, costos, beneficios)

4. Diseñar y realizar el experimento

5. Si el resultado se alinea con la evidencia que pidieron en el punto 3, entonces cambiar la decisión, y sino, quedarse con la del punto 2

Este pequeño framework de trabajo, así simple como lo ven, nos permite identificar elementos clave de cualquier diseño experimental que realicemos, independiente de la metodología estadística que usemos. 

El punto 1 nos permite entender que estamos intentando resolver, el 2 es lo que sería nuestra hipótesis nula, el 3 nos permite identificar hipótesis alternativas y efectos mínimos que nos gustaría detectar para tener confianza en nuestra decisión. Y el 5 nos permite mantener nuestro accionar basado en resultados de forma binaria. Si se obtuvieron los resultados realizamos A, si no se obtuvieron realizamos B.

Esta forma de abordar la experimentación no requiere de mucho trabajo, pero creo que para aprovecharse al máximo requiere de un equipo comprendido con al menos estos 3 puestos:

1. Quien toma la decisión: Siempre debe haber alguien responsable de las decisiones del equipo. Sea un Product Owner, jefe de equipo, esta es la persona a cargo del punto 2, 3 y 5. Es quien debe pensar las acciones, sus riesgos y beneficios.

2. El analista: Un buen analista es un recurso excelente en cualquier empresa. Te permite identificar problemas y oportunidades a través de los datos. Suele ser el responsable del punto 1 de framework. Es quien revisando los datos de la experiencia del cliente en el producto, puede rápidamente decir donde hay mayores fricciones u oportunidades de mejoras. Quizá no sepa porque suceden o como arreglarlas, pero con un buen conocimiento del producto, va poder identificar estos puntos muy rápidamente y alimentar el framework de experimentación

3. Un experimentador: Es el responsable del punto 4. No tiene porque ser un estadista experto. Alcanza con quien sea el que sepa como funciona la herramienta que utilizan para experimentar, y que pueda diseñar un experimento capaz de adecuarse a los puntos 1, 2 y 3. Debe entender las limitaciones de la herramienta que sea que se utiliza, para poder decir cuando es adecuada o no para el experimento de forma de no perder el tiempo en problemas que no van a poder ser respondidos con la misma. Cuanto más sepa el experimentador y más herramientas disponga, mayor va a ser la cantidad de problemas que puedan resolver con experimentación. 

Este equipo es solo mi recomendación personal para empresas pequeñas. La realidad es que distintos problemas y contextos van a requerir distintos equipos. Pero al menos para una  gran cantidad de casos, creo que con esos 3 roles cubiertos se pueden abordar la mayoría de las experimentaciones de empresas pequeñas y medianas. 

¿Qué metodología usamos?

Cuando llega el momento de experimentar (punto 4 del framework), hay muchísimas alternativas. De todas ellas, hay 2 que son las más probable de conocer hoy en día. 

La primera es la que muchos habrán visto en clases de estadística, que denominaremos **el método frecuentista**. Dicho de manera simple este método **consiste en calcular la probabilidad de haber observado un efecto del tamaño que se observó, asumiendo que la hipótesis nula es verdad** (la hipótesis nula es semejante a lo que nosotros creemos por defecto, proviene del punto 2 de nuestro framework, es aquello que nosotros queremos dejar de creer dada determinada evidencia para poder tomar otra acción). Si la probabilidad de haber observado ese efecto es menor a una probabilidad determinada que nosotros vamos a definir de antemano, entonces decidimos creer que hay evidencia para rechazar esa hipótesis nula y tomar la acción alternativa.

Si recuerdan el caso que puse al principio, que requiere 62468 visitantes, esa cantidad de visitantes la calcule utilizando un test de potencia, que es una herramienta del método frecuentista para diseñar nuestro experimento. 

A grandes rasgos esta metodología se enfoca en determinar la probabilidad de observar efectos de determinado tamaño o mayores (o menores), si se volviera a repetir la recolección de datos una y otra vez. Por eso es que se denomina frecuentista. Le interesa determinar la probabilidad de la frecuencia de observar ese tamaño de efecto. 

Con eso en mente, creo que es fácil entender por qué es la metodología base de experimentos en medicina por ejemplo. (Digo base ya que hay muchas modificaciones posibles dentro de lo que engloba la estadística frecuentista).  Es imprescindible poder controlar por el riesgo de que los efectos que hayamos visto no sean causados por azar en el largo plazo, dado que si es así, podríamos estar medicando erróneamente a pacientes sin saberlo.

Una de las contras que se mencionan a la hora de usar este tipo de metodología frecuentista en experimentación online, web, de negocios, etc, es que para detectar efectos pequeños con confianza, requiere de muchas observaciones. Si en el ejemplo de los 62468 visitantes, yo cambiara el tamaño del efecto deseado de un 10% a un 5%, necesitaríamos 244246! ¡Casi 4 veces más solo por cambiar el efecto a la mitad! Ahora, no creo que eso sea motivo por el cual no utilizar esta metodología. 

Si en verdad el cambio que se quiere hacer puede tener algún tipo de riesgo para el negocio en el largo plazo, este método ayuda a controlar por ese tipo de riesgos, y por lo tanto es útil. ¿Qué podemos hacer entonces para utilizarlo sin tener que necesitar tanto tiempo para experimentar? Varias cosas:

1. Realizar cambios más radicales que creamos que pueden generar efectos más grandes. Si nuestra idea era cambiar el copy de nuestra landing page por algo apenas distinto por un efecto de 5% pero que tardaría mucho, cambiemoslo por algo más impactante que podría generar un efecto de 10% que como vimos tardaría 4 veces menos.

2. Testear muchas cosas a la vez. Una ventaja de la empresa chica por lo general es que su infraestructura no es tan rígida, y por lo tanto hacer cambios simultáneos suele ser más fácil. Si partimos de la idea de que cambiar la imágen de cabecera de nuestra página principal generaría un aumento de CTR del 5% y para eso necesitamos 1 mes de experimentación, que nos parece mucho tiempo, entonces podemos decidir cambiar no solo la imágen de cabecera, sino el menu y 3 elementos más, y ver si eso genera un efecto del 15%, acortando nuestro tiempo necesario. No podríamos identificar qué elemento fue el que más impacto tuvo, pero en caso de haber un impacto lo estaríamos logrando más rápidamente y en mayor magnitud.

3. Buscar mejorar métricas más cercanas o directas. Muchas veces intentamos ver si generamos un efecto en la tasa de conversión, pero lo que cambiamos fue algo muy distante a ese resultado, como por ejemplo un elemento de la home page. Si desde la home page a la conversión el visitante requiere muchísimas interacciones, son pocos los que efectivamente convertirán, y eso hace que el efecto que podamos lograr va a ser pequeño y difícil de detectar. Si en cambio medimos el CTR de Home page a Página de Producto, o a alguna otra  interacción importante pero más cercana, será más fácil generar un efecto mayor y por lo tanto disminuir el tiempo necesario.

4. Testear varias secciones a la vez. Similar al punto 2. Quizás experimentar un solo cambio en la landing page nos lleva mucho tiempo, pero si le sumamos un cambio en la página X más otro en la página Y más otro en el proceso de registración, y evaluamos como métrica el impacto total en el sitio, nos llevaría menos tiempo.

Estas son solo algunas ideas para que empresas chicas, con poco tráfico, puedan experimentar con la metodología frecuentista, que suele ser la más conocida. 

Otras posibilidades provienen de ajustar los parámetros del diseño experimental, como el riesgo de error tipo 1 y error tipo 2, para que se adecuen más a los riesgos y beneficios de cada experimento. Explicar eso en profundidad llevaría otro artículo, pero quienes estén interesados en más detalles pueden leer acá.

La otra metodología que está cada vez más de moda en los programas de experimentación online es la Bayesiana. 

Google Optimize por ejemplo utiliza esta metodología. La misma consiste en evaluar la probabilidad de que una variante sea mejor que la otra, dada la data observada durante el experimento. Si se fijan, la metodología frecuentista no asignaba probabilidad sobre las variantes o sobre las hipótesis, sino que le asignaba la probabilidad a observar un efecto de al menos ese tamaño si se repitiera la recolección. En la metodología Bayesiana en cambio, no buscamos controlar por ese tipo de riesgos a largo plazo, sino que nos ocupamos por realizar la mejor inferencia posible dada sólo la data observada. 

¿Cómo funciona? Explicado simplificadamente, lo que se hace es asignar una distribución previa de lo que creemos sobre nuestra métrica (CTR, Tasa de Conversión, etc), recolectar los datos de la variante y del control, y actualizar esa creencia previa con nuestros datos nuevos. Ahora entonces, tendríamos dos distribuciones nuevas, nuestra creencia modificada por los datos de control, y nuestra creencia modificada por los datos de la variante. Y procedemos  a obtener miles o millones de datos aleatorios de cada una de esas distribuciones, y calcular el porcentaje de veces que la variante fue mejor que el control. Si esa probabilidad es mayor a un determinado número con el que nos sintamos seguros, ejemplo 95% de probabilidad de que la variante sea mejor que el control, entonces tomamos determinada decisión. 

Una de las ventajas que se mencionan de esta metodología, es que a simple vista no requiere un tamaño muestra fijo como lo hace la frecuentista (recuerden los 62468 visitantes). 

Uno puede correr el experimento durante 1 semana o durante 1 mes, y la inferencia que haga sobre los resultados va a seguir siendo válida respecto a los datos recolectados. Por lo tanto, es una metodología muy atractiva para quienes tienen que tomar decisiones en poco tiempo. Sin embargo, utilizar esta metodología bien requiere poder definir la creencia previa sobre el comportamiento de nuestra métrica de forma correcta, o asumir que no sabemos nada de su comportamiento (Bayes No informativo), que tiene sus otras consecuencias. Y al no tener un tamaño muestral definido como el frecuentista, requiere pensar otras reglas sobre cuándo se va a frenar el experimento para no sesgar sus resultados. 

Mi opinión personal es que ambas metodologías tienen sus pros y sus contras, y que lo enriquecedor es poder utilizar la más adecuada al contexto en el que se está trabajando. Hay momentos y decisiones que requerirán metodologías frecuentistas y otros que requerirán metodologías Bayesianas. Saber cuando utilizar cada una es responsabilidad del “experimentador” en nuestro equipo que vimos antes. Pero como mencione en su momento, al principio, en especial cuando recién se comienza a experimentar alcanza primero con entender qué metodología ocupa la herramienta que hayan decidido utilizar, y saber sus ventajas y desventajas. 

Conclusión

A lo largo de este artículo vimos algunos motivos de por qué experimentar y sus ventajas, mencionamos un pequeño framework de trabajo para alinear la experimentación con el negocio, fijamos un equipo reducido de personas para poder llevar a cabo la experimentación, y describimos un poco dos metodologías frecuentes sobre cómo experimentar. 

Espero que con todo esto puedan mirar hacia adentro de sus empresas y comenzar a evaluar la idea de armar un equipo de experimentación. En verdad no saben lo necesario que creo que es para el éxito de las empresas modernas, dada la velocidad de la industria de los datos. 

Y el tamaño de la empresa no es ni nunca debería ser un factor limitante para lograrlo. Mi objetivo es que eventualmente puedan lograr ser una empresa verdaderamente data-driven, y eso no se obtiene solo recolectando datos, sino dándoles un buen uso, y la experimentación aplicada a la toma de decisiones es uno de ellos.