Teste sintético offline: um método rápido e seguro para melhorar os resultados da pesquisa

Ao ajustar a pesquisa no site, muitas pessoas corrigem consultas individuais ou executam testes A/B. No entanto, se você quiser ter 100% de certeza de que sua pesquisa está funcionando como deveria, considere usar teste sintético offline. Ele itera rapidamente os algoritmos de pesquisa e elimina o risco de perda de conversões, permitindo que você teste as alterações offline com segurança.

Toda empresa de e-commerce deseja ter uma ótima função de pesquisa, mas o caminho para isso é complicado. Requer grandes habilidades de observação, bom conhecimento de análise de pesquisa e uma abordagem sistemática. A maioria das pessoas, entretanto, apenas segue seu instinto, o que não é o caminho ideal a seguir.

O poder dos testes sintéticos offline

Descobrimos que um dos melhores métodos para melhorar os resultados da pesquisa é chamado de teste sintético offline. Offline porque você não precisa de usuários ativos para testes e sintético porque usa apenas dados medidos como referência – os usuários ativos podem se comportar de maneira um pouco diferente. A vantagem deste método é que você não corre o risco de nenhum impacto negativo em sua taxa de conversão, obtém resultados rapidamente e só precisa de registros de pesquisa (ou mais precisamente: consultas, resultados e interações do usuário com esses resultados).

O método funciona assim: você verifica as pesquisas anteriores dos usuários e as executa novamente com um novo algoritmo de classificação. Se você souber quais resultados da sua pesquisa retornaram no passado e quais desses resultados foram clicados ou convertidos, você poderá compará-los com os resultados do novo algoritmo de classificação.

Analisando resultados de testes sintéticos offline

Imagine que para a consulta x, a pesquisa antiga retornou o produto X na posição 1. Isso significa que o produto X foi o item de maior conversão para esta consulta. Com o novo algoritmo, uma nova pesquisa para a consulta x retornou o produto X na posição 10. Você consegue adivinhar qual pesquisa foi melhor? A resposta certa é a pesquisa original.

Essa foi fácil! Agora vamos dar um exemplo mais difícil: a consulta x retorna o produto Y como o melhor resultado. Algumas pessoas clicam nele; portanto, parece uma combinação relevante, mas o verdadeiro melhor resultado X não está entre os resultados. Sua nova pesquisa corrige isso classificando o produto X em primeiro lugar e o produto Y em segundo. O que pode parecer uma regressão, na realidade não é, porque os resultados da consulta x são melhores.

Como você pode ver, em muitos casos analisar o que é melhor não é tão simples e você precisa de modelos complexos para obter resultados confiáveis e acionáveis. Existem vários modelos quantitativos projetados para medir a qualidade da classificação, como Normalized Discounted Cumulative Gain (NDCG), Discounted Cumulative Gain, Mean Reciprocal Rank ou correção de classificação (Precision, Mean Average Precision, etc.).

Todas essas métricas são frequentemente medidas apenas nos n resultados principais porque têm maior chance de serem vistas pelos usuários. Existem modelos ainda mais robustos e complexos baseados em feedback implícito que são mais adequados para modelagem de qualidade de pesquisa. Cada uma dessas métricas possui características diferentes e modela diferentes aspectos de qualidade de pesquisa, mas no final, seja qual for sua escolha, você terá uma medida quantitativa de sua pesquisa que poderá usar para comparar diferentes algoritmos de classificação.

Além de medir a mudança na qualidade da pesquisa

Os testes sintéticos offline permitem mais do que apenas medir a mudança na qualidade da pesquisa – eles permitem que você entenda os porquês do diferencial de desempenho. Se feito corretamente, você pode obter relatórios e agregados avançados de desempenho de consultas históricas individuais com a nova classificação. Você pode então começar a fazer perguntas e ver as consultas exatas em que a nova classificação ajudou ou onde piorou os resultados.

Pela nossa experiência, passar por algumas consultas onde o desempenho da pesquisa foi mais severamente impactado pode ajudá-lo a identificar padrões onde a nova classificação está apresentando desempenho insatisfatório. Você pode então corrigir suas suposições, atualizar o algoritmo de classificação e executar novamente o teste offline.

A melhor maneira é combinar métodos

A vantagem dos testes sintéticos offline é que eles revelam descobertas importantes. Se um teste sintético offline mostrar que sua nova pesquisa é muito pior do que a atual, geralmente será pior. Se o seu teste sintético offline mostrar que sua nova pesquisa é muito melhor do que a atual, geralmente será melhor. Mas quão melhor ou pior?

Isso é algo que este método não pode dizer, pois não representa o comportamento do mundo real. Para descobrir, você precisa executar um teste A/B ao vivo. Então, da próxima vez que você quiser consertar algo:

1. Encontre uma consulta que precisa de melhorias.
2. Atualize o algoritmo de classificação.
3. Execute testes sintéticos offline até ter certeza de que há uma melhoria.
4. Execute um teste A/B ao vivo para confirmar.
5. Comece do zero e repita os passos.

É assim que fazemos na Luigi’s Box, e isso nos deu o know-how em que você passou a confiar. A boa notícia é que integramos testes sintéticos offline à Luigi’s Box. Portanto, se você quiser testá-lo, não precisará desenvolvê-lo sozinho.

Para saber mais sobre esse recurso, entre em contato com nossos representantes de vendas.