Diversidade Vocabular (TTR)

Você lê a redação e sente que a mesma palavra volta o tempo todo, mas sentir não é medir. O Type-Token Ratio coloca número nisso: quantas palavras diferentes existem para cada palavra escrita. Serve para comparar dois rascunhos seus, para olhar de longe um texto que parece saído de máquina e para mostrar ao aluno a repetição em vez de só descrever que ela existe.

Tipos são as palavras distintas, tokens são todas as ocorrências. O texto vai para minúsculas e o resultado é a divisão simples de um pelo outro, sem lematizar: casa e casas contam como duas palavras diferentes, e nomes próprios e números entram na conta. Os rótulos quebram em 0,7 para muito alta, 0,5 para alta e 0,3 para média. O exemplo da caixa dá 9 tipos em 12 tokens, ou seja, 0,750.

O detalhe que estraga comparações: o TTR cai conforme o texto cresce, porque artigos e preposições se repetem sem parar. Comparar uma redação de 200 palavras com um artigo de 2000 não diz nada. Corte os dois no mesmo tamanho antes. Palavras que começam ou terminam em letra acentuada são contadas cortadas (café vira caf, água vira gua), o que não muda o total de tokens. Roda no navegador.