Google Optimize: mi opinión sobre lo bueno y lo que necesita mejorar

Hace unos meses empecé a usar Google Optimize 360 como herramienta de testing. Durante este tiempo, me he podido hacer una impresión sobre como funciona Google Optimize y cuales son las partes que más me gustan y las que creo que aun pueden mejorar.

Por si es la primera vez que lees sobre esta herramienta, Google Optimize es la herramienta de optimización de la conversión de Google. Tiene 2 versiones, una gratuita y otra de pago que se engloba dentro de la Suite Analytics 360 de Google, en la que también se incluyen herramientas como Google Analytics o Data Studio.

Para dar un poco de contexto sobre mi experiencia previa, antes de usar Google Optimize he trabajado durante los últimos 4 años con Google Analytics Content Experiments, VWO y Optimizely.

Lo que más me gusta de Google Optimize

Integración nativa con Google Analytics:

La parte que siempre me ha fallado más de otras herramientas de CRO es la de análisis de resultados: a nivel de segmentación, queda muy lejos de lo que puedes hacer con Google Analytics.

Es cierto que mediante a las integraciones con las dimensiones de GA puedes suplir parcialmente esta carencia, aunque es muy limitada, ya que si un usuario entra en 2 tests, la dimensión sólo guardará el último test aplicado, por lo que no podremos analizar bien los resultados del primer test.

Con Google Optimize, este problema queda solucionado de raíz, ya que Optimize usa las dimensiones ga:experimentId y ga:experimentVariant, por lo que puedes tener tantos experimentos corriendo a la vez como quieras.

Integración directa con el dataLayer de GTM

Poder aprovechar todo el potencial del dataLayer que ya tienes implementado con GTM para hacer el targeting de los experimentos es una cosa super útil. Por ejemplo, hacer un test en las fichas de una producto es mucho más fácil si tienes una variable que informe el tipo de página.

Te permite definir una hipótesis del test

Un campo en el que se pueden poner 5.000 palabras puede parecer una tontería, pero es un detalle muy importante para dar coherencia a un test A/B. Un test A/B es un medio que se usa para validar una hipótesis, no es el fin, por lo que tener siempre presente el contexto por el cual se está haciendo este test es muy relevante.

Permite usar audiencias de GA como target del experimento.

Esto forma parte sólo de Optimize 360, pero es una funcionalidad muy potente. Igual que puedes hacer targeting de anuncios de Adwords mediante audiencias de GA, estas mismas audiencias las puedes usar para definir el segmento que entrará en el experimento

Previsualización de las variaciones

Se pueden previsualizar las variaciones en multiples dispositivos, así como generar una URL para compartir para poder hacer la validación desde otros dispositivos o para enviarlo al equipo de QA.

Sistema de facturación

El sistema de facturación de Optimize 360 tiene un modelo similar al de GA360, por lo que pagas un importe fijo al mes. Esto te permite olvidarte de si hacer un test tiene un coste extra o no y hace que te puedas centrar en lo importante.

Lo que no me gusta tanto de Google Optimize

Aunque es una herramienta que tiene unos grandes beneficios, también tiene algunos puntos que, aunque tampoco son muy importantes, hacen que le resten algunos puntos en la valoración de la herramienta.

El editor solo es compatible con Chrome, y usando un plugin

Aunque no es un problema muy grave, tener que usar un plugin para chrome para usar Optimize es una limitación importante, ya que provoca que no puedas configurar ningún test si no tienes Chrome instalado.

No se pueden pausar ni reiniciar los tests

Tampoco es un gran problema, pero a veces pausar un test o reiniciar los datos del test para empezar de 0 otra vez puede ser muy útil. En el caso de Optimize, tendremos que parar el test y hacer una copia de éste para volver a empezar.

Son necesarios muchos clicks para hacer cambios de JavaScript

La mayoría de tests que hago no necesito el editor WYSIWYG, ya que simplemente necesito ejecutar unas líneas de JS. Para poder añadir estas líneas, o modificarlas, tengo que entrar en cada una de las versiones, esperar a que cargue, abrir el editor y luego editar el código. Sería muy útil poder ver el código o los cambios configurados sin tener que abrir una vista previa de la página a testear.

Se tiene que usar un Goal como objetivo (como GACE)

Esto ya pasa con GACE, y es una limitación bastante importante. Normalmente lo que hago es tener una vista especial para ir creando objetivos ad-hoc para el experimento en sí, pero sería MUY útil poder usar un evento de GA como objetivo del experimento sin tener la necesidad de crear un objetivo en Google Analytics.

Poner una variación por defecto al 100%

Una vez finalizado un experimento con una versión ganadora, sería muy útil poder aplicar esta variación al 100% de nuestra audiencia. Con Optimize esto no se puede hacer, hay 2 limitaciones:

Sólo se puede aplicar una variación al 99,9% de los usuarios. Hay un 0,1% que seguirá viendo la versión original.
Si aplicas un test que está corriendo (y del que ya has obtenido resultados significativos) al 99,9% de los usuarios, los usuarios que previamente ya habían visto otra variación del test la seguirán viendo, es decir, que no se aplicará la variación al 99,9%.

Mantener la variación tiene su sentido cuando estás cambiando los pesos de un test, para mantener la consistencia del experimento, pero no tiene ningún sentido cuando lo que quieres es aplicar una versión ganadora a toda nuestra audiencia.

Lo que me gustaría que tuviese Optimize

Optimize es una herramienta muy potente, pero aun tiene algunas limitaciones debidas seguramente a que lleva muy poco tiempo en el mercado. Estas son aquellas cosas que aun no tiene Optimize pero que me gustaría ver en un futuro.

Hacer tests server-side

Los tests de frontend son los más clásicos, pero cuando empiezas a hacer Optimización en serio, muchas veces los cambios en el frontend no son necesarios y aparece la necesidad de poder hacer tests desde el servidor, es decir, que sea el servidor quien decida que variación del experimento servirá a cada usuario. Aunque esto se puede hacer sin problemas con GACE, aun no se puede hacer con Optimize.

Identificación del usuario mediante el UserID

Si GA puede identificar a una persona en múltiples dispositivos mediante el User ID, no sería fantástico poder aplicar esta tecnología a los tests con Optimize?

Ya no evaluarías los resultados en función del dispositivo, sino en base al usuario, por lo que la experiencia de navegación de los usuarios sería mucho más consistente en múltiples dispositivos.

Testing en Apps

Igual que no es posible hacer tests server-side, de momento tampoco se pueden hacer tests en Apps de iOS y Android. Dado la creciente importancia que tienen las apps, creo que esto es algo que acabaremos viendo en un futuro no muy lejano.