PostHog Data Analytics Open Source | Raquel Smith Growth Engineer en Posthog

PostHog se ha transformado en una de las herramientas de analítica comportamental revelación este 2023, pasando por inversiones desde Y combinator hasta Google Ventures. Hoy es muy popular como la solución de analítica Open Source para desarrolladores, con un detalle importante, viene con todo en uno.

Combina el análisis de producto, mapas de calor, grabaciones de sesiones, implementar feature flags, y realizar experimentos A/B en una única solución.

Primero algo de historia

PostHog inicialmente fue creada como una herramienta de analítca predictiva para equipos de venta, a medida que sus fundadores vieron que existía un espacio dentro de la analítica comportamental en un modelo Open Source, salieron a validar este modelo de negocio entrevistándose con las empresas que hoy estaban dominando el campo Open Source, como: Gitlab, WordPress, entre otras.

Pero además vieron que el campo estaba siendo dominado por empresas SaaS, con altos costos de pago mensual, que no contaban con todas las herramientas integradas en un único espacio, y muchas veces difícil para los equipos de desarrollos enfocados en entender el comportamiento de los usuarios que utilizaban sus herramientas.

Por esta razón me entró la curiosidad de conocer desde la interna, como es la cultura de esta empresa, qué soluciones trae al mercado, y cuales son los desafío que enfrenta el equipo de Growth, para seguir en la búsqueda de la adopción y crecimiento de este empresa con un enfoque cultural tan abierto.

Para esto nos juntamos a conversar con Raquel Smith, Growth Engineer en PostHog, primero para conocer su carrera, cuál es el trabajo que han llevado en el área de Growth de Posthog, cómo ha llevado a cabo su función como Growth Engineer, y como PostHog logra crear esta cultura tan Open Source y trasladarla al equipo completo.

Desde el mundo de la biología molecular, al Growth Engineering

“Mi camino no ha sido muy lineal, lo cual creo que es útil para una Growth Engineer, porque finalmente se trabaja muchas disciplinas diferentes. 

Soy una ingeniero y Product Manager autodidacta. Fui a la universidad de biología molecular, que no tenía nada que ver con la tecnología, estuve manejando el área de negocios en mi último trabajo, luego me incliné más hacia la tecnología y seguí la ruta de la Product Manager, que me encantó.”

La experiencia en el mundo Foodie

Algo muy particular de Raquel, es que ha dedicado muchísimo de su carrera en el mundo foodie, en el que además desarrolló su empresa Brunch, que hoy podríamos compararlo como el Substack de los blogueros de comida.

“Cuando comencé Brunch era el CEO y CTO, construí el 95% de la plataforma, por lo que necesariamente estaba haciendo mucho trabajo de producto y mucho trabajo de ingeniería, y siendo que era una aplicación de consumidor, también hacía algunas cosas de Growth para potenciar el uso de la App. 

En solo unos pocos meses logramos tener 11.000 usuarios, por lo que tuvo un crecimiento bastante decente para la cantidad de tiempo que invertí en ello.

La idea era que actualmente, si alguien quiere publicar recetas en internet, tiene que empezar un sitio de WordPress y configurar el plugin de SEO, y, ya sabes, configurar el template adecuado, instalar plugins, y mucho trabajo para empezar a publicar recetas en línea.

Eso me pareció bastante innecesario, en mi opinión, al día de hoy, que ya debería haber una aplicación para eso.

Y las hay, pero las aplicaciones no apoyan a la gente como creadores necesariamente.

En plataformas como Patreon, no puedes agregar todos los ingredientes de tus recetas a una lista de la compra para que puedas llevarla a la tienda y comprar fácilmente todo lo que necesitas o pedir desde tu aplicación.

Y así había y sigue habiendo esta brecha donde la gente no logra monetizar y crear recetas en ninguna de las plataformas existentes. Así que construí una plataforma para eso. 

Nuestra estrategia de crecimiento no se centraba en conseguir usuarios finales en absoluto. 

Simplemente nos centramos en conseguir creadores que luego trajeran a su audiencia. Y eso fue honestamente una muy, muy buena manera de crecer. 

No hicimos nada, absolutamente nada de Outbound Marketing tratando de traer usuarios finales, donde teníamos una cuenta de Instagram que tenía algunas imágenes allí, pero eso fue solo para que no pareciera muerta cuando contactábamos a los creadores de recetas, ya sabes, para que digan, oh sí, hay algo aquí.

Así que sí, esencialmente conseguimos miles de usuarios gratis y eso funcionó realmente bien. Así que si puedes descubrir cómo hacerlo para cualquier negocio en el que estés trabajando, esta es una estrategia realmente genial.

Para esto buscábamos personas muy específicas, por lo que pasábamos mucho tiempo explorando en TikTok. Intentamos algunas cosas automatizadas haciendo scrapping de creadores, pasándolas a un sheet y enviando mensajes, pero los resultados que obtuvimos de eso no fue tan bueno como el algoritmo de TikTok.

Si pasas tiempo en TikTok y te gustan los videos de recetas, el algoritmo comenzará a mostrarte más cosas de más personas, y es como si pudieras hacer tu propio targeting sin tener que pagar dinero para que alguien más cree un sheet por tí. Es un poco más manual, pero honestamente tuvimos resultados mucho mejores haciéndolo así.

No nos centramos mucho en la retención con los nuevos usuarios que venían a ver recetas. Estábamos más centrados en la retención y monetización del creador para asegurarnos de que los creadores se mantuvieran en la plataforma y se mantuvieran comprometidos con la creación de recetas. 

Una vez que alguien pagaba su suscripción, teníamos una retención por ingresos muy buena porque era solo una suscripción mensual para acceder al contenido de este creador. 

Después de un tiempo corriendo con la compañía, decidí que no seguiría en el desarrollo de esta plataforma, postulé a Posthog como ingeniero, y terminaron pensando que sería mejor que tuviera un papel de ingeniería de crecimiento.”

El ecosistema Open Source de Posthog

Ser Open Source, en un campo donde las herramientas de analítica están muy basadas en modelos de negocios B2B cambia la forma en la cuál se construye el producto.

Pero no solo el producto es Open Source, una vez que buceas un poco más en su sitio, te encuentras incluso con que puedes acceder a los lineamientos de los OKRs del equipo de Growth.

“En PostHog somos completamente de código abierto, lo cual es genial. 

Pero además porque nos permite beneficiarnos más de la comunidad cuando trabajas con código abierto.

A veces me sorprende lo abiertos que somos. 

Incluso cuando estoy escribiendo un artículo o algo así, siempre voy y pregunto “¿puedo decir esto?” Y ellos me dicen “sí, está bien. Dale para adelante” Y yo digo “ok”. 

Pero con esa sensación de que esto es algo cultural y viene mucho de los fundadores, ellos realmente quieren que sea así. 

De hecho en un retiro que tuvimos, Tim, el CTO, dijo “no, no es un valor que seamos así de abiertos. Es algo que vivimos”. 

Lo cual me pareció interesante porque tal vez debería ser un valor para que no se diluya, y se pierda a medida que la empresa crece. La cultura es difícil de mantener cuando las empresas crecen, pero esto de ser abiertos y transparentes está en el ADN de PostHog y es algo que realmente vivimos. 

Todos nuestros objetivos están publicados en línea. No necesariamente publicamos todos los detalles de la estrategia de la empresa, pero si documentamos y compartimos internamente el manual de la estrategia de la empresa.”

Nuestros objetivos actuales para el equipo de Growth, es realmente convertirnos en una empresa multi-producto.

Actualmente tenemos algunos productos diferentes, desde análisis de productos y reproducción de sesiones, que no se facturan por separado en función del uso, porque no puedes estar en el plan gratuito para uno y en el plan de pago para otro. 

Pero por esto mismo queremos entender qué significa agregar productos que sean independientes. Por ejemplo, la segmentación de características y el de experimentación, que actualmente están agrupados y no tenemos una forma de cobrar por ellos por separado o incluso permitir que alguien use solo nuestro producto de segmentación de características, entender cómo nos afecta separar estos.

Así que nuestro gran objetivo ahora es desglosarlo todo. Donde la idea es que cada cosa se pueda facturar de forma independiente y las personas puedan suscribirse a aquellas que necesiten de forma independiente. Y esto es porque hemos visto mucho esta necesidad de gente que entra y dice “bueno, me gustaría contratar solo la segmentación de características porque escuché que la que desarrollaron en PostHog es genial, pero no necesito el servicio de análisis de productos”. 

Pero en este momento, debido a que están vinculados, es difícil para esas personas poder contratar lo que exactamente quieren. 

Y un segundo gran objetivo es mejorar cómo las personas integran o instalan PostHog en sus productos. Nuestra integración, en este momento, es sorprendentemente buena. 

La plataforma es aparentemente lo suficientemente comprensible como para que las personas nuevas que se registran, no suelen necesitar tanta ayuda. 

Pero también es algo que hemos construído, nuestra documentación es fantástica, pero sabemos que en la aplicación misma hay elementos que aún tenemos que trabajar mejor. 

Por lo tanto, para este objetivo, tenemos que crear frameworks, herramientas y blueprints sobre lo creemos es hacer una muy buena integración en tu propio producto. 

Ahí es donde el equipo de Growth de PostHog es un poco diferente de lo que encontrarías en otras empresas. 

No somos responsables del onboarding y activación en ninguno de los productos individuales, cada equipo de producto es responsable de eso.

Nuestro rol es tomar decisiones que respondan al proceso de onboarding como tal, por eso trabajamos sobre el: ¿Cómo debería ser este paso a paso inicial?, ¿Cuáles son las formas en que las personas deberían integrarse con el servicio?, ¿Cuál es un onboarding realmente bueno, que haga sentido y sea efectivo? 

Luego establecemos los límites, creamos las herramientas y los frameworks para su desarrollo. 

Y después los propios equipos dueños de cada producto, que lo conocen mucho mejor, que conocen a sus clientes, puedan tomar estos frameworks y herramientas, y desde allí trabajar las pautas para hacer algo realmente genial. 

Por esto creo que somos diferentes, en ese sentido, del cómo creamos el camino hacia el crecimiento de PostHog.

Y esa es la diferencia de mi trabajo actual como Growth Engineer. Donde mi foco no está en nada que tenga que ver con la parte superior del embudo. Tenemos un equipo de marketing increíble, un equipo de contenido increíble, y son ellos los que están haciendo la mayoría del trabajo en la parte superior del embudo. 

Mi trabajo comienza una vez que alguien está en la plataforma, ¿cómo los hacemos crecer a partir de ahí?, ¿Cómo hacemos crecer sus cuentas con insights? Esa es más o menos la idea y la diferencia actual con mi rol, crecer desde el producto.”

El Onboarding como herramienta de activación perfecta los usuarios

Conocí a Raquel, porque ella me realizó la entrevista de onboarding del producto. Y en base a lo que conversamos, entender el proceso de uso y adaptación inicial, es clave dentro de la estrategia de PostHog para crear una relación de largo plazo con el uso de la misma.

“Un hotel es un ejemplo divertido porque está muy desconectado de la tecnología.

Justo acabamos de ir a Aruba a nuestra reunión anual de la empresa, durante una semana en un all-inclusive, que fue increíble. 

Pensemos en la situación donde me acerco al mostrador con todo mi equipaje y donde lo único que quiero en ese minuto es dejar las maletas y tomar una siesta. Sería súper raro si después de hacer el check-in, el recepcionista me obligara a hacer un tour por el hotel y ver todas las cosas que puedes hacer, incluso que me muestre dónde están las toallas en el gimnasio, justo después de pasar 13 horas viajando, o lo que sea.

Este ejemplo, si lo llevamos a la realidad, te permite entender de mejor manera tu proceso actual de onboarding. 

Y esto es porque si lo has vivido, cada vez que te registras en un nuevo producto, lo primero que aparece normalmente es este pequeño tour del producto que dice “¿Sabías que puedes hacer esto y esto y esto y esto?”. Y yo estoy como, ¿dónde está el botón para deshacerme de esto?. Vine acá para hacer un trabajo específico con la herramienta, y quizás no me importa nada de lo demás que me quieras mostrar.

Pero creo que las empresas no se dan cuenta que pierden una oportunidad en este onboarding, porque una vez que alguien cierra ese tour del producto, básicamente se terminó tu presentación. Ya completaron el tour del producto. ¿Y ahora qué?.

Hace poco creé una nueva cuenta en Sentry y cuando entré, había uno de esos paneles de Onboarding que me decían de todo, pero era tan molesto, que simplemente la cerré y luego me apareció un pequeño panel de inicio rápido en la barra lateral, que es una idea aceptable, pero como en ese momento no me interesaba hacer nada de eso, perdieron la oportunidad de decirme más tarde, ¿Consideraste mirar esta otra cosa en la barra lateral después de que te hayas familiarizado un poco con la herramienta? O, conoce esta nueva función

Creo que lo que realmente estamos buscando cuando creamos estos procesos de Onboarding es dar a las personas la información que necesitan solo cuando la necesitan y ser mucho más sutiles cuando queremos que prueben otras funciones. 

Volviendo al ejemplo del hotel, si hay un bar donde veo a algunos de mis compañeros de trabajo, charlamos un rato y digo, voy a ver si tienen comida también, ahí es cuando pregunto a la persona del bar si tienen un menú y luego pido comida. ¡Ese fue el momento adecuado para que lo descubriera! Y es así cómo deberíamos replantear nuestra forma de abordar a nuestros usuarios.

Creo que hay muchas formas más sutiles de hacerlo dentro de una plataforma también, como por ejemplo usar una pequeña etiqueta en la barra de navegación que diga “nuevo” o “en beta” o “prueba esto” u otra cosa para llamar la atención. Si algo parpadea lentamente en la pantalla, puedes ignorarlo al principio, pero lo más probable es que vas a hacer clic en ese botón en lugar de un pop-up del que me quiero deshacer de inmediato. 

Lo que buscamos al realizar un onboarding oportuno es evitar la sobrecarga de información, simplemente mostrando todo desde el principio, hay que analizar y conocer el “cuándo” para construir un onboarding que realmente sea efectivo.”

La estrategia Open Source

Tengo que ser honesto, lo primero que me llamó la atención de PostHog, es que era Open Source, lo segundo es que nos permitía acceder a muchos de los productos que tiene su competidor Amplitude, totalmente gratis.

“Desde una perspectiva de la parte superior del embudo, lo que realmente funciona bien para nosotros es entregar mucho de forma gratuita. 

Ahora si lo pensamos desde una perspectiva del equipo de Growth, las acciones de Growth pueden enfocarse en el crecimiento de usuarios, o el crecimiento de ingresos. Y hoy estamos enfocados en el crecimiento de la monetización. Pero al mismo tiempo, asegurarnos que el crecimiento de usuarios sigue siendo realmente bueno. 

Si bien no somos responsables de traer a la parte superior del embudo, sí somos responsables de asegurarnos de que entren, tengan una buena experiencia y de que eventualmente se pueda monetizar con la cantidad suficiente de personas para que el negocio tenga éxito.

Pero desde la visión de los fundadores y para PostHog, regalar o ser “Open” lo hacemos con el objetivo de que:

  1. Las personas o startups pueden usarlo sin tener que pagar una tonelada de dinero y obtengan desde el inicio mucho valor con PostHog. 
  2. O tal vez lo usen en proyectos secundarios, sin hacer una inversión. Aquí es donde creemos que cuando estas personas empiezan a usarlo en sus otros proyectos, y ven que necesitan grabaciones de sesiones, por ejemplo, son los primeros en recomendar PostHog. 

De todas formas hay esta tensión entre regalar lo suficiente o hacer de PostHog una experiencia gratuita increíble a largo plazo. Principalmente porque también buscamos como empresa monetizar la mayor cantidad de usuarios.

Pero a pesar de esa tensión, nos alineamos muy bien con otros equipos, como el de servicio al cliente, que son responsables de cerrar negocios más grandes, pero al ser responsables de la monetización, te hace querer pensar cuánto se puede limitar de todas las características del producto, y lograr que la gente esté dispuesta a pagar más rápido, equilibrando siempre con cómo esta elección puede limitar nuestro crecimiento. 

La importancia de entrevistar al construir tu producto

Lo nombre antes, cómo conocí a Raquel, acá van a entender la importancia de estar hablando todo el tiempo con tus clientes, para el desarrollo de tu producto.

“Creo que las entrevistas con los clientes son increíblemente importantes, y esto se ha instaurado muy fuerte en toda la empresa, al punto en que antes de ir a nuestra reunión había un desafío de cada persona en la compañía, sin importar en qué departamento estuviera, tiene que hablar con al menos un cliente de su área. Y creo que eso es realmente genial. 

Tenemos herramientas internas que hemos construido dentro de Posthog para reclutar usuarios para entrevistas. Y esto es algo culturalmente muy importante. 

Es realmente difícil implementar esta cultura, porque todo el mundo prefiere estar escribiendo código en lugar de tener que reunir el coraje y ponerse a entrevistar a los usuarios. Esto lo hemos logrado hacer más fácil gracias a las herramientas que construimos.

Pero es difícil salir de uno mismo y hacer eso, francamente. El enfoque de la empresa ha ayudado, porque como gerente de producto, creo que no hay nada más importante que las entrevistas con los usuarios.

Tratando a Growth como un producto

Esta parte de la entrevista me voló la cabeza, porque logré ver desde una perspectiva de producto, lo que realmente tratamos de buscar en Growth como contenido, que en realidad lo tenemos ahí, desde pero desde otra perspectiva.

“Es más difícil encontrar buenos libros sobre Growth que sobre productos. Pero he logrado entender que muchos de los libros de gestión de productos, se aplican bastante bien al Growth, solo tienes que pensar en ellos un poco diferente. 

Lo importante es tratar el Growth como un producto. Por ejemplo, tengo que escribir un artículo sobre cómo tratamos nuestra estructura de precios como un producto, y el trabajo que estamos haciendo para pasar de planes con productos (como lo tenemos ahora), a productos independientes a los que la gente puede suscribirse. 

Parte de eso también será establecer la infraestructura para ejecutar pruebas en nuestra estructura de precios. Así podemos probar diferentes modelos de precios con algunos clientes, en comparación con otros y ver qué funciona mejor. 

La razón por la que hacemos esto es porque realmente no deberíamos tener un precio estático. Y creo que especialmente, cuando se trata de precios, es muy fácil pensar en que esto es cómo lo hemos fijado del inicio, en comparación de tomar este análisis de precio como una estrategia de crecimiento de producto.

Al igual que con la analítica de productos, siempre estás agregando nuevas características, para ver si eso funciona mejor para el cliente. Y debido a que tratamos de pensar en nuestra estructura de precios y la incorporación de esto como un producto, hemos armado toda esta implementación con frameworks y herramientas que otros equipos usarán. 

Al final es muy parecido a un producto, entonces, debido a eso, es que tratamos todo como un producto, creo que mucha de la información de gestión de productos que analizamos, se aplica inherentemente.

Creo que he leído un par de libros de Growth, pero realmente no he encontrado ninguno que me haya gustado. Ahora estoy trabajando con el libro “Monetizing Innovation”, que es un poco difícil de entender, pero es cosa de estudiarlo bien.

Hoy me siento muy privilegiada de estar Posthog, solo por la forma en que se trabaja se siente y se ve que se están formando realmente buenos cimientos, y lo digo porque en empresas anteriores para las que trabajé no necesariamente tenían todos los cimientos realmente buenos.

En uno de mis trabajos anteriores, el equipo de productos esencialmente sólo respondía a ventas. Y pienso que esta no es la forma en la cuál se debe gestionar el desarrollo de un producto. Estamos aquí para responder no solo a los clientes potenciales, sino también a los clientes existentes y construir cosas innovadoras.”

Como Posthog trabaja su estrategia de crecimiento, qué canales usan hoy

Junto con el punto anterior, te vas a dar cuenta, que la visión de tracción no parte en su gran medida desde un canal, y esto lo han demostrado productos como ChatGPT.

“Puedo pensar en dos cosas fácilmente. Uno es ser valioso, creo que las personas han encontrado ese valor. La forma en que lo hacemos es con mucho contenido realmente bueno, y hemos trabajado fuertemente también el trabajo en SEO.

Eso es está gran parte de lo que hacemos, casi no hacemos nada de marketing directo, nuestra presencia en las redes sociales es más pequeña de lo que probablemente debería ser, pero traemos una cantidad masiva de tráfico simplemente siendo valiosos y proporcionando muy buen contenido. Y eso es enorme. El inconveniente de SEO es que lleva mucho tiempo. Entonces, es más una muy buena estrategia de crecimiento a largo plazo.

Y la otra cosa que es realmente buena para el crecimiento y que creo que necesita hacerse más popular, es no limitar el registro en función de tener que hablar con alguien para conocer el precio. En nuestra página de inicio decía: “Hagamos a una llamada”, pero la tachamos y ahora decimos algo como, “No necesitas hablar con nosotros a menos que quieras”, porque nadie tiene el tiempo ni el deseo de saltar hacer una llamada para usar un producto. Las personas quieren entrar allí y probarlo y ver si es para ellos. Así que, no detengas a las personas a que disfruten de tu producto.

Lo otro es hacer que sea realmente fácil para las personas comenzar a usar Posthog, y en nuestro caso es solo con la instalación de un pequeño fragmento web que puedes pegar donde sea y comienza a capturar eventos automáticamente para ti. Es súper fácil.

Entonces, realmente optimizar la cantidad de tiempo y pasos que lleva para que las personas vean el primer valor de la plataforma es realmente bueno para el crecimiento.

Ese fue un error que cometí en una empresa anterior en la que trabajé donde decidimos no tener una versión gratuita del software que estábamos vendiendo. Donde comenzamos inicialmente con una buena tracción, porque éramos muy populares en la industria a la que nos estábamos dirigiendo.

A pesar de tener mucha tracción inicial, realmente buena, eventualmente hubo otra compañía que comenzó a hacer lo mismo alrededor en el mismo tiempo, que no eran muy conocidos, pero lógicamente obtuvieron mucho más adopción porque fueron por la versión gratuita y luego una actualización. Y no estaba detrás de algún tipo de proceso de ventas.

Es difícil para las personas ver el valor en lo que estábamos haciendo porque tenían que pagar primero. Entonces, lo que quiero destacar como gran estrategia es dejar que la gente entre, se registre, pruebe y que sea fácil para ellos ver el valor de la forma más rápida. No los hagas pasar por 30 pasos para hacer una cosa, eso es realmente crítico para nosotros y y espero que útil, como consejo, para muchas otras empresas que también están buscando desarrollar su estrategia de crecimiento a través del producto.”

Recomendaciones de herramientas a utilizar

Muy buenas recomendaciones, y además vas a encontrar el link de cada herramienta también en el artículo.

“Está muy de moda ahora mismo, y creo que es algo a destacar porque la ocupo mucho: ChatGPT

Lo estoy pagando de mi propio bolsillo. Probablemente debería hacer que mi trabajo lo pague porque todo lo que hago es hacer preguntas de codificación. Pero sí, definitivamente lo recomiendo.

Whimsical también, es muy bueno para hacer bocetos y brainstorming muy rápido. Me gusta mucho porque es muy limpio y bueno. Así que soy una gran fanática de Whimsical. 

Otra herramienta de la que soy una gran fanática es una herramienta de desarrollo que realmente me gusta y que encontré hace poco es Fig, hace la autocompletación en tu terminal, lo cual es muy útil. Así que no necesitas recordar todos los comandos y es fácil encontrar las ramas en las que estuviste trabajando recientemente, etc.

Y luego otra que he estado tratando de usar más es Raycast, que es como el spotlight en, en Mac.

Eso, aparte de las herramientas genéricas como GitHub y VS code.”

Guía práctica para comenzar a experimentar en tu empresa

Esta es literalmente una guía para comenzar a experimentar en tu empresa con pruebas AB testing y aún más.

Una pieza genial de nuestro invitado Ezequiel Boehler, Data Scientist en Falabella. Desde hace 8 años trabaja en Digital Analytics, realizando trabajos en diseño y recolección de datos, hasta analítica avanzada con modelos de Machine Learning.

Su sitio web, “Blog de LazioB” cuenta sobre las buenas prácticas de experimentación (a/b tests) en marketing y productos digitales.


Hace poco me preguntaron si es que emprendedores o empresas chicas podían experimentar. Si es que era posible dado los tiempos y recursos que se necesitan para realizar un experimento correctamente. 

La respuesta corta es: “por supuesto que pueden experimentar”.

Mi intención con este artículo es explicar la utilidad de experimentar, y porque es muy beneficioso comenzar a hacerlo lo antes posible en la empresa o emprendimiento, y dar algunos puntos sobre qué necesitan para poder hacerlo bien. 

Algunos preconceptos

Es importante entender por qué se cree que la experimentación a veces es irrealizable para determinadas empresas.

1. El tiempo: El diseño de experimentos que la mayoría de la gente conoce, suele requerir muchas observaciones para obtener resultados, y los sitios web / apps / productos digitales de pequeñas empresas necesitan muchísimos días para obtener las observaciones necesarias. Por ejemplo, el test de hipótesis nula más frecuente, para detectar un cambio en la Tasa de Conversión del 10%, requiere 62468 observaciones totales. En el mejor de los casos esas observaciones podrían ser visitantes al sitio, pero si se está experimentando en una página o sección particular, se necesitan 62468 visitantes a esa parte específica, lo que quizá lo hace más difícil (Los invito a que se fijen cuánto tráfico recibe su sitio actualmente para ver en cuantos días obtendrían 62468 visitantes)

2. Los datos: Tener una buena recolección de datos es condición excluyente para realizar experimentación. Pero hoy en día una buena recolección es importante para muchísimas otras otras cosas, desde reportería hasta control de calidad y experiencia de usuario, etc, por lo tanto cualquier empresa que toma en serio su producto debe invertir en la mejor recolección de datos posible respecto a sus necesidades, sea experimentación una de ellas o no.

3. Las herramientas y el conocimiento: Es sabido que en empresas pequeñas, cada empleado suele ocupar más de un “sombrero” y trabajar sobre varios temas a la vez, dado que es crucial optimizar los recursos para la supervivencia y crecimiento de la misma. La buena noticia es que muchas herramientas que nos permiten experimentar son gratuitas. De hecho si utilizan Google Analytics para su recolección de datos, pueden usar Google Optimize, o usar GTM para dividir el tráfico ustedes mismos.

Respecto al conocimiento, no hace falta ser un experto en estadística para experimentar (creo que yo mismo soy la prueba de eso) pero sí un conocimiento mínimo necesario para comenzar y hacerlo bien, que es lo que intento brindar en mi blog. 

Dado que la necesidad de una buena recolección de datos y sus ventajas requerirían todo otro artículo para explicar porqué son importantes, me voy a enfocar en el tiempo y las herramientas y conocimientos para el resto del artículo. Pero primero es más importante contestar la siguiente pregunta:

¿Por qué experimentar?

Esta pregunta tiene muchas respuestas en mi opinión incorrectas, que las pueden encontrar al comienzo de este artículo.

¿Entonces, cuál es la respuesta correcta? La experimentación a través de la estadística nace de la necesidad de descubrir verdades sobre el universo que nos rodea, y la filosofía de la ciencia, o epistemología tienen muchísima influencia en ella.  

Partiendo de ahí fueron surgiendo muchísimos métodos estadísticos que se adecuan a distintas áreas del conocimiento, desde agronomía, hasta medicina, economía y más.

Lo que todas las áreas tienen en común es que de alguna forma u otra buscan poder tomar decisiones en incertidumbre. Y por lo tanto, el mundo de los negocios también es apto para experimentar, dado que es víctima del mismo problema. 

Gerentes, líderes de equipos, emprendedores, todos en algún momento u otro deben tomar decisiones en incertidumbre. Esas decisiones pueden estar ligadas a qué cosa hacer para mejorar nuestra conversión, nuestros ingresos, nuestra experiencia de usuario. 

En empresas pequeñas y medianas el caso suele ser querer generar crecimiento. Si supiéramos a ciencia cierta qué cambios debemos hacer para crecer nuestro negocio no necesitamos experimentar. Pero como no lo sabemos, queremos poder tomar una decisión en la cual confiemos, y acá es donde la experimentación nos puede ayudar. 

Otros efectos que tiene experimentar, y que se aprovechan mucho más cuando uno comienza a experimentar temprano en la vida de la empresa, es que nos va condicionando a una determinada forma de pensar y actuar. Esta forma de pensar está basada en 2 elementos:

1. Humildad: tener la humildad de poder decir “no lo se”, aceptar que uno no tiene siempre la respuesta al problema, pero que está dispuesto a encontrarla. A utilizar los recursos a su disposición para encontrar una respuesta informada, en la que se tenga confianza y actuar basado en eso, y no en algún factor inconsciente, sea emocional, egocéntrico, o de influencias externas impropias al problema.

2. Cuestionar: Es muy común en las empresas que se realicen acciones sin que nadie sepa muy bien porque es lo que se hace. La experimentación nos brinda las herramientas para cuestionar el status quo frente a otras alternativas y de esa forma generar un cambio informado.

La razón por la que creo que es mejor experimentar cuanto antes, es porque una vez que la empresa es muy grande es más común encontrar empleados en cargos altos que, ya sea por experiencia o personalidad, carecen de la humildad necesaria para decir que no saben la respuesta a algo. Y también, cuando la empresa es grande, algunos procesos o actividades de la misma pasan a ser tan complejos y burocráticos que nadie quiere tomarse la molestia de cuestionar si deberían seguir haciéndose o si se pueden hacer mejor. 

En cambio si uno experimenta desde temprano, se va generando una cultura de experimentación entre los participantes y sus procesos que debiera mitigar esos dos tipos de problemas.

¿Por dónde comenzamos?

Si lo que buscamos es poder tomar una decisión en incertidumbre, entonces debemos comenzar por la decisión! Mi consejo sobre cómo experimentar de forma tal de obtener la mayor coherencia con el negocio es la siguiente:

1. Identificar el problema o pregunta: ¿Qué experiencia genera más leads?, ¿Cuánto afecta el precio del envío en la tasa de conversión?, etc.

2. Establecer cuál sería la decisión que tomarían si no pudieran experimentar. (Dejar la experiencia tal cual está, no modificar el precio de envío)

3. Pensar que información/evidencia necesitan ver para tomar otra decisión distinta a la del punto 2 (Información que disminuya su incertidumbre, puede tener en cuenta riesgos, costos, beneficios)

4. Diseñar y realizar el experimento

5. Si el resultado se alinea con la evidencia que pidieron en el punto 3, entonces cambiar la decisión, y sino, quedarse con la del punto 2

Este pequeño framework de trabajo, así simple como lo ven, nos permite identificar elementos clave de cualquier diseño experimental que realicemos, independiente de la metodología estadística que usemos. 

El punto 1 nos permite entender que estamos intentando resolver, el 2 es lo que sería nuestra hipótesis nula, el 3 nos permite identificar hipótesis alternativas y efectos mínimos que nos gustaría detectar para tener confianza en nuestra decisión. Y el 5 nos permite mantener nuestro accionar basado en resultados de forma binaria. Si se obtuvieron los resultados realizamos A, si no se obtuvieron realizamos B.

Esta forma de abordar la experimentación no requiere de mucho trabajo, pero creo que para aprovecharse al máximo requiere de un equipo comprendido con al menos estos 3 puestos:

1. Quien toma la decisión: Siempre debe haber alguien responsable de las decisiones del equipo. Sea un Product Owner, jefe de equipo, esta es la persona a cargo del punto 2, 3 y 5. Es quien debe pensar las acciones, sus riesgos y beneficios.

2. El analista: Un buen analista es un recurso excelente en cualquier empresa. Te permite identificar problemas y oportunidades a través de los datos. Suele ser el responsable del punto 1 de framework. Es quien revisando los datos de la experiencia del cliente en el producto, puede rápidamente decir donde hay mayores fricciones u oportunidades de mejoras. Quizá no sepa porque suceden o como arreglarlas, pero con un buen conocimiento del producto, va poder identificar estos puntos muy rápidamente y alimentar el framework de experimentación

3. Un experimentador: Es el responsable del punto 4. No tiene porque ser un estadista experto. Alcanza con quien sea el que sepa como funciona la herramienta que utilizan para experimentar, y que pueda diseñar un experimento capaz de adecuarse a los puntos 1, 2 y 3. Debe entender las limitaciones de la herramienta que sea que se utiliza, para poder decir cuando es adecuada o no para el experimento de forma de no perder el tiempo en problemas que no van a poder ser respondidos con la misma. Cuanto más sepa el experimentador y más herramientas disponga, mayor va a ser la cantidad de problemas que puedan resolver con experimentación. 

Este equipo es solo mi recomendación personal para empresas pequeñas. La realidad es que distintos problemas y contextos van a requerir distintos equipos. Pero al menos para una  gran cantidad de casos, creo que con esos 3 roles cubiertos se pueden abordar la mayoría de las experimentaciones de empresas pequeñas y medianas. 

¿Qué metodología usamos?

Cuando llega el momento de experimentar (punto 4 del framework), hay muchísimas alternativas. De todas ellas, hay 2 que son las más probable de conocer hoy en día. 

La primera es la que muchos habrán visto en clases de estadística, que denominaremos **el método frecuentista**. Dicho de manera simple este método **consiste en calcular la probabilidad de haber observado un efecto del tamaño que se observó, asumiendo que la hipótesis nula es verdad** (la hipótesis nula es semejante a lo que nosotros creemos por defecto, proviene del punto 2 de nuestro framework, es aquello que nosotros queremos dejar de creer dada determinada evidencia para poder tomar otra acción). Si la probabilidad de haber observado ese efecto es menor a una probabilidad determinada que nosotros vamos a definir de antemano, entonces decidimos creer que hay evidencia para rechazar esa hipótesis nula y tomar la acción alternativa.

Si recuerdan el caso que puse al principio, que requiere 62468 visitantes, esa cantidad de visitantes la calcule utilizando un test de potencia, que es una herramienta del método frecuentista para diseñar nuestro experimento. 

A grandes rasgos esta metodología se enfoca en determinar la probabilidad de observar efectos de determinado tamaño o mayores (o menores), si se volviera a repetir la recolección de datos una y otra vez. Por eso es que se denomina frecuentista. Le interesa determinar la probabilidad de la frecuencia de observar ese tamaño de efecto. 

Con eso en mente, creo que es fácil entender por qué es la metodología base de experimentos en medicina por ejemplo. (Digo base ya que hay muchas modificaciones posibles dentro de lo que engloba la estadística frecuentista).  Es imprescindible poder controlar por el riesgo de que los efectos que hayamos visto no sean causados por azar en el largo plazo, dado que si es así, podríamos estar medicando erróneamente a pacientes sin saberlo.

Una de las contras que se mencionan a la hora de usar este tipo de metodología frecuentista en experimentación online, web, de negocios, etc, es que para detectar efectos pequeños con confianza, requiere de muchas observaciones. Si en el ejemplo de los 62468 visitantes, yo cambiara el tamaño del efecto deseado de un 10% a un 5%, necesitaríamos 244246! ¡Casi 4 veces más solo por cambiar el efecto a la mitad! Ahora, no creo que eso sea motivo por el cual no utilizar esta metodología. 

Si en verdad el cambio que se quiere hacer puede tener algún tipo de riesgo para el negocio en el largo plazo, este método ayuda a controlar por ese tipo de riesgos, y por lo tanto es útil. ¿Qué podemos hacer entonces para utilizarlo sin tener que necesitar tanto tiempo para experimentar? Varias cosas:

1. Realizar cambios más radicales que creamos que pueden generar efectos más grandes. Si nuestra idea era cambiar el copy de nuestra landing page por algo apenas distinto por un efecto de 5% pero que tardaría mucho, cambiemoslo por algo más impactante que podría generar un efecto de 10% que como vimos tardaría 4 veces menos.

2. Testear muchas cosas a la vez. Una ventaja de la empresa chica por lo general es que su infraestructura no es tan rígida, y por lo tanto hacer cambios simultáneos suele ser más fácil. Si partimos de la idea de que cambiar la imágen de cabecera de nuestra página principal generaría un aumento de CTR del 5% y para eso necesitamos 1 mes de experimentación, que nos parece mucho tiempo, entonces podemos decidir cambiar no solo la imágen de cabecera, sino el menu y 3 elementos más, y ver si eso genera un efecto del 15%, acortando nuestro tiempo necesario. No podríamos identificar qué elemento fue el que más impacto tuvo, pero en caso de haber un impacto lo estaríamos logrando más rápidamente y en mayor magnitud.

3. Buscar mejorar métricas más cercanas o directas. Muchas veces intentamos ver si generamos un efecto en la tasa de conversión, pero lo que cambiamos fue algo muy distante a ese resultado, como por ejemplo un elemento de la home page. Si desde la home page a la conversión el visitante requiere muchísimas interacciones, son pocos los que efectivamente convertirán, y eso hace que el efecto que podamos lograr va a ser pequeño y difícil de detectar. Si en cambio medimos el CTR de Home page a Página de Producto, o a alguna otra  interacción importante pero más cercana, será más fácil generar un efecto mayor y por lo tanto disminuir el tiempo necesario.

4. Testear varias secciones a la vez. Similar al punto 2. Quizás experimentar un solo cambio en la landing page nos lleva mucho tiempo, pero si le sumamos un cambio en la página X más otro en la página Y más otro en el proceso de registración, y evaluamos como métrica el impacto total en el sitio, nos llevaría menos tiempo.

Estas son solo algunas ideas para que empresas chicas, con poco tráfico, puedan experimentar con la metodología frecuentista, que suele ser la más conocida. 

Otras posibilidades provienen de ajustar los parámetros del diseño experimental, como el riesgo de error tipo 1 y error tipo 2, para que se adecuen más a los riesgos y beneficios de cada experimento. Explicar eso en profundidad llevaría otro artículo, pero quienes estén interesados en más detalles pueden leer acá.

La otra metodología que está cada vez más de moda en los programas de experimentación online es la Bayesiana. 

Google Optimize por ejemplo utiliza esta metodología. La misma consiste en evaluar la probabilidad de que una variante sea mejor que la otra, dada la data observada durante el experimento. Si se fijan, la metodología frecuentista no asignaba probabilidad sobre las variantes o sobre las hipótesis, sino que le asignaba la probabilidad a observar un efecto de al menos ese tamaño si se repitiera la recolección. En la metodología Bayesiana en cambio, no buscamos controlar por ese tipo de riesgos a largo plazo, sino que nos ocupamos por realizar la mejor inferencia posible dada sólo la data observada. 

¿Cómo funciona? Explicado simplificadamente, lo que se hace es asignar una distribución previa de lo que creemos sobre nuestra métrica (CTR, Tasa de Conversión, etc), recolectar los datos de la variante y del control, y actualizar esa creencia previa con nuestros datos nuevos. Ahora entonces, tendríamos dos distribuciones nuevas, nuestra creencia modificada por los datos de control, y nuestra creencia modificada por los datos de la variante. Y procedemos  a obtener miles o millones de datos aleatorios de cada una de esas distribuciones, y calcular el porcentaje de veces que la variante fue mejor que el control. Si esa probabilidad es mayor a un determinado número con el que nos sintamos seguros, ejemplo 95% de probabilidad de que la variante sea mejor que el control, entonces tomamos determinada decisión. 

Una de las ventajas que se mencionan de esta metodología, es que a simple vista no requiere un tamaño muestra fijo como lo hace la frecuentista (recuerden los 62468 visitantes). 

Uno puede correr el experimento durante 1 semana o durante 1 mes, y la inferencia que haga sobre los resultados va a seguir siendo válida respecto a los datos recolectados. Por lo tanto, es una metodología muy atractiva para quienes tienen que tomar decisiones en poco tiempo. Sin embargo, utilizar esta metodología bien requiere poder definir la creencia previa sobre el comportamiento de nuestra métrica de forma correcta, o asumir que no sabemos nada de su comportamiento (Bayes No informativo), que tiene sus otras consecuencias. Y al no tener un tamaño muestral definido como el frecuentista, requiere pensar otras reglas sobre cuándo se va a frenar el experimento para no sesgar sus resultados. 

Mi opinión personal es que ambas metodologías tienen sus pros y sus contras, y que lo enriquecedor es poder utilizar la más adecuada al contexto en el que se está trabajando. Hay momentos y decisiones que requerirán metodologías frecuentistas y otros que requerirán metodologías Bayesianas. Saber cuando utilizar cada una es responsabilidad del “experimentador” en nuestro equipo que vimos antes. Pero como mencione en su momento, al principio, en especial cuando recién se comienza a experimentar alcanza primero con entender qué metodología ocupa la herramienta que hayan decidido utilizar, y saber sus ventajas y desventajas. 

Conclusión

A lo largo de este artículo vimos algunos motivos de por qué experimentar y sus ventajas, mencionamos un pequeño framework de trabajo para alinear la experimentación con el negocio, fijamos un equipo reducido de personas para poder llevar a cabo la experimentación, y describimos un poco dos metodologías frecuentes sobre cómo experimentar. 

Espero que con todo esto puedan mirar hacia adentro de sus empresas y comenzar a evaluar la idea de armar un equipo de experimentación. En verdad no saben lo necesario que creo que es para el éxito de las empresas modernas, dada la velocidad de la industria de los datos. 

Y el tamaño de la empresa no es ni nunca debería ser un factor limitante para lograrlo. Mi objetivo es que eventualmente puedan lograr ser una empresa verdaderamente data-driven, y eso no se obtiene solo recolectando datos, sino dándoles un buen uso, y la experimentación aplicada a la toma de decisiones es uno de ellos. 

Emojics.com, mide las emociones de tus Usuarios con emojis

La cruda verdad, para los puritanos de la lengua, es que los emojis se han transformado en elementos reemplazantes de nuestra conversación.

Este año supimos que Whatsapp contaba con 1.5 billones de usuarios, donde 300 millones de usuarios están activos día a día y se revisan 60 millones de mensajes por día.

Estoy seguro que de esos 60 millones de mensajes, por lo menos 10 millones contienen un emoji.

Suma esto al 1.2 billones de usuarios que tiene messenger.

Son muchos emojis al día ?, casi una locura. Sigue Leyendo

Guía para medir el éxito de tu estrategia de adquisición de clientes

Hace un par de noches, conversando con mi mujer, le planteo la siguiente pregunta: Si no tuvieras tiempo para promocionar tu empresa, pero tuvieras el dinero suficiente para gastarlo en marketing, ¿Qué le pedirías a la agencia que hiciera con ese dinero?

Su respuesta fue: hagan lo que sea pero logren los objetivos. No me sorprendió para nada su respuesta, ya que no es la primera vez que lo escucho y normalmente cuando no tienes tiempo para llevar a cabo una actividad, sin importar la cantidad de trabajo, buscas a alguien capacitado para derivarle esa labor.

La ventaja del medio digital es que permite medir los objetivos y la efectividad de los canales de tracción –> tuitea esto Sigue Leyendo

¿Análisis en usuarios o visitas? Google Analytics versus Mixpanel

Una historia de Google Analytics y Mixpanel…

Las métricas son un indicativo de cómo funciona tu sitio, aplicación o servicio. Para esto, la definición de tus reportes, te ayudarán a no solo medir dos métricas:
1. De donde provienen mis visitas.
2. Cuantas están comprando o registrándose.

Si bien, estas medidas ya deberían ser básicas dentro de un reporte, para todo quién utiliza su sitio con fines comerciales, como también para quienes desarrollan herramientas. Estos reportes deben enriquecerse con otros factores, que se deben someter al tipo de reporte que quieres obtener.

Reportes de Tendencias: El número de visitas/visitas únicas quienes actúan en base a un evento específico
Reporte de Embudo: El número de visitas únicas que han actuado en base a pasos concretos integrados dentro del embudo.
Reporte de Cohorte: Número de visitas que han efectuado eventos específicos.
Reporte de Personas: Que cosas hicieron o uso cada usuario dentro del ambiente monitorizado.

La importancia de un reporte radica en los objetivos que quieras medir. twittea esto Sigue Leyendo

5 técnicas SEO para desbloquear el (not provided) en Google Analytics

Desarrolla tus técnicas SEO…

Conoce cuáles son las palabras claves por las que tus seguidores buscan tu sitio web, es una estrategia esencial que deberías implementar en tu sitio web. Principalmente porque la estrategia SEO te puede ayudar obtener una mejor calidad de visitantes, que te ayudarán a movilizar este contenido si es de muy buena calidad.

Desde Octubre del 2011, Google comenzó a implementar un sistema donde todos los usuarios que estén loggeados y realicen una búsqueda, esa información comenzará a ser privada y comenzarás a verla en tu cuenta de Analytics como (not provided). Esto generó y continúa generando una problemática para quienes llevan a cabo este tipo de actividades estratégicas. Pero ahora podemos disminuir en un 80% aproximadamente, las potenciales palabras claves (not provided), para poder descubrir cuáles son las alternativas de palabras o conceptos que podemos utilizar, o directamente donde están cayendo esas visitas que realicen una búsqueda estando loggeados.

Recuerden que el Growth Hacker, y en general el marketing de crecimiento, debe alimentarse de toda aquella información que mejore y optimice su estrategia. twittea esto

En adelante veremos 5 técnicas que nos ayudarán a “desbloquear” estas palabras claves, para así mejorar nuestra estrategia de contenido. Sigue Leyendo