Datart: qual é a mágica por trás do aumento de 19% na conversão? Teste A/B

Depois de avaliar os testes, descobrimos que, em comparação com a versão de pesquisa original, o Search da Luigi's Box foi comprovadamente melhor em ambas as versões de idioma da loja virtual.

A Datart, integrante do portfólio do grupo HP TRONIC, é uma das principais lojas na venda a varejo de eletrônicos na República Tcheca e na Eslováquia. Contando com lojas físicas ou vendas por loja virtual, a Datart está funcionando há 32 anos. Recebeu os prêmios Mastercard Merchant of the Year 2021 na categoria de engenharia elétrica e o Most Trusted Brand 2020 e 2021. Em 2022, o grupo HP TRONIC, que inclui a Datart, aumentou seu faturamento em 5%, para CZK 25,3 bilhões. Lucro EBITDA de CZK 942 milhões.

Neste artigo você aprenderá que:

há sempre uma razão para testar
a execução do teste deve ser perfeita
um teste A/B pode ser um ótimo começo
é possível trabalhar para ter resultados significativos em um tempo relativamente curto
testes ocasionais podem surpreender

Foi a análise, curiosidade ou intuição no início?

Vários clientes de grande porte começaram com a Luigi’s Box no mesmo lugar que a Datart. No início, eles implantaram o Analytics da Luigi’s Box em sua loja virtual. Como o Analytics já forneceu muitas informações, a questão era se a Luigi’s Box poderia ser um parceiro igualmente confiável na pesquisa ou preenchimento automático se eles usassem o Search da Luigi’s Box.

A Datart percebeu o quanto a pesquisa é importante para suas lojas virtuais e quanto pode ser afetada com sua configuração correta ou incorreta. Além dos custos, existem outras métricas importantes, como receita gerada, taxa de conversão, número de compras concluídas, etc. Uma abordagem responsável certamente inclui testar e verificar hipóteses. A Datart é inovadora, o que pode ser observado em diversas áreas. Ela faz o possível para melhorar a experiência do usuário e, compreensivelmente, está procurando soluções melhores que ajudem os usuários e aumentem o lucro simultaneamente.

Eles estavam desenvolvendo sua pesquisa internamente e, em algum momento, foi necessário analisar que ferramentas de pesquisa externas poderiam ser tão boa, senão melhor, que a interna.

Executar um teste não é tão simples quanto parece

O que quer que queiramos testar, é fundamental ter tudo bem pensado com antecedência. Por exemplo, metodologia, valores para comparação, viabilidade do teste ou método de avaliação. Por outro lado, precisamos cuidar da implementação técnica, dificuldades e requisitos para desenvolvedores ou quaisquer especializações ou especificações técnicas. O teste pode ser executado com a integração de front-end e back-end. No caso da Datart, foi a integração de back-end, que é mais complicada e complexa. A maioria dos nossos clientes é profissional e pessoalmente preparada para testes semelhantes, portanto, lidar com essas tarefas geralmente não apresenta complicações.

Ainda bem que a Datart conta com um time de especialistas que não subestimaram nenhum aspecto, forneceram informações e especificações passo a passo, e ajustaram os valores necessários para se comunicar com nosso sistema através da API corretamente.

Mesmo antes de executar um teste A/B, é necessário um conjunto de testes para eliminar possíveis erros que possam afetar significativamente o resultado de tal teste.

Por que realizar um teste A/B?

Existem muitas maneiras de experimentar ou testar algo. A primeira opção é substituir uma solução por outra e examinar se a nova solução é mais eficaz. No entanto, um risco fundamental surge aqui. Com o tamanho de um cliente como a Datart, mesmo um pequeno desvio em unidades percentuais baixas pode se manifestar como uma queda significativa nos lucros, o que é inaceitável para qualquer empresa.

Mas uma opção mais segura é primeiro usar o chamado teste A/B offline. Os resultados de pesquisa existentes, por exemplo, ao longo de um tempo, são comparados com os resultados oferecidos pela ferramenta testada. Desenvolvemos este método de teste e o usamos há muito tempo, graças ao qual eliminamos fundamentalmente o risco de que uma nova pesquisa em algumas frases apresente resultados piores ou nenhum resultado. Isso torna o teste mais seguro mesmo para clientes mais proeminentes, onde, dado o número de pesquisas por frases individuais, mesmo um pequeno desvio pode ter um impacto significativo.

Após um teste A/B offline, os clientes passam suavemente para um teste A/B online “ao vivo”. A base é uma metodologia na qual alguns visitantes recebem uma versão e outros outra. A proporção de exibição de uma e outra solução é escolhida, que pode ser 50/50. Ainda assim, no início, por exemplo, pode ser apenas 80/20, para que o cliente possa ter certeza de que a variante testada é melhor ou igual à variante original. No final, ambos os resultados são comparados relativamente, e se os valores recebidos, como por exemplo, o número de sessões, forem significativos, podemos proceder à avaliação.

O resultado em menos de duas semanas

Se fôssemos testar casos particulares, ou se tivéssemos uma loja virtual com baixo tráfego, o teste demoraria muito porque o baixo número de visitas não seria significativo o suficiente. Simplesmente não seria possível determinar qual das soluções comparadas é a vencedora do teste.

Alguns clientes testam por uma semana, outros por meses. Considerando o tamanho do tráfego e o número de conversões, podemos estimar quanto tempo levará o teste. Posteriormente, verificaremos o resultado por meio de significância estatística para reduzir o risco de um resultado inesperado. Tudo é sempre definido com antecedência. Para que o início e o fim do teste, bem como as métricas comparadas e o método de avaliação, fiquem claros. As regras não devem ser alteradas durante o processo.

Nesse caso, tivemos dados recebidos suficientes, bom tempo e avaliação precisa do teste. O teste na Datart decorreu de 1 a 12 de setembro de 2022. Em menos de duas semanas, foram recolhidos os dados necessários – e foi possível avaliar o teste e apurar o vencedor.

A Luigi’s Box foi a vencedora do teste A/B

O teste A/B comparativo foi executado nas versões tcheca e eslovaca da loja virtual. Ambos os testes diferem em alguns valores, pois cada mercado em cada país funciona de maneira diferente na hora da pesquisa.

Em ambas as lojas virtuais testadas, a taxa de execução foi de 50:50. Onde 50% dos usuários usaram a versão original da pesquisa, e 50% usaram a versão com o Search da Luigi’s Box.

Os resultados de ambos os testes foram significativos de acordo com a metodologia escolhida.

A principal métrica comparativa foi “Taxa de conversão” – taxa de conversão dos usuários na pesquisa.

Depois de avaliar os testes, descobrimos que, em comparação com a versão de pesquisa original, o Search da Luigi’s Box foi comprovadamente melhor em ambas as versões de idioma da loja virtual.

Na versão eslovaca, datart.sk, a taxa de conversão da nossa solução foi maior em quase 19% em comparação com a solução original usada.

Na versão tcheca, datart.cz, a taxa de conversão da nossa solução foi mais alta em cerca de 14% em comparação com a solução original usada.

Outra informação interessante é que nossa solução eliminou resultados incorretos e pesquisas sem resultados para algumas categorias. A Luigi’s Box pode ser a resposta certa, se você estiver resolvendo um problema semelhante sobre relevância de pesquisa.

Conclusão

As métricas escolhidas demonstraram que a inteligência artificial e o aprendizado de máquina usados pela Luigi’s Box poderiam aumentar a taxa de conversão, neste caso, em 14-19%. Dependendo do segmento e do status da pesquisa, a diferença na taxa de conversão pode ser ainda maior. Junto com o aumento da taxa de conversão, claro, as vendas também aumentaram – que é o desejado. Após esses resultados do teste, não é surpreendente que a Datart irá usar o Search da Luigi’s Box como sua ferramenta de pesquisa e preenchimento automático em ambas as lojas virtuais testadas.

Este exemplo mostra claramente que os anos de pesquisa e desenvolvimento de nossa ferramenta têm um alto valor agregado para o cliente.