NOVIDADE: benchmarks e insights de pesquisa de e-commerce. Clique aqui para ver dados atualizados de 2024.

Tokenização

A tokenização é um processo de identificação dos elementos de uma frase, como frases, palavras, abreviações e símbolos, antes da criação de um índice.