A tokenização é um processo de identificação dos elementos de uma frase, como frases, palavras, abreviações e símbolos, antes da criação de um índice.
Tokenização
A tokenização é um processo de identificação dos elementos de uma frase, como frases, palavras, abreviações e símbolos, antes da criação de um índice.