Calculadora frequencia de palavras pela lei de Zipf

Lei de Zipf: frequência ∝ 1/rank — 100 palavras mais frequentes cobrem ~50% de qualquer texto

A lei de Zipf diz que a frequência de uma palavra é inversamente proporcional ao seu rank. A 2ª palavra aparece metade do que a 1ª, a 10ª por volta de um décimo, e o padrão segue descendo a lista. A fórmula é f(rank) ≈ C / rank, com C ≈ 0,1 × N para um corpus de N tokens. Na prática vale lembrar dos limites de cobertura: as 100 lemmas mais frequentes cobrem ~50% do texto corrente, 1.000 cobrem ~80% e 5.000 cobrem ~95%. Corpora específicos puxam a constante para fora do esperado. Em estoniano, a palavra "ja" ("e") sozinha responde por cerca de 5% dos tokens, bem acima do que Zipf preveria.

Aplicações

Serve para decidir que vocabulário priorizar no Anki e em outros SRS, ordenar listas de palavras em currículos de idiomas e montar materiais de comprehensible input. Também ajuda a estimar quanto de um texto o aluno já consegue ler e a ajustar a suavização em modelos de linguagem n-gram ou transformer.

Perguntas frequentes

Zipf vale para todos os idiomas? Na maioria a inclinação fica perto de -1. Idiomas aglutinativos como finlandês e turco achatam a curva, já que a flexão pesada espalha cada palavra em muitas formas distintas.

Lemma ou forma de superfície? Os números acima contam lemmas. Se você contar formas de superfície, a lista de palavras necessária cresce de 2 a 5× para a mesma cobertura.

Por que a curva quebra na cauda? A cauda longa é dominada por hapax legomena, palavras que aparecem uma só vez. Para ajustar melhor essa região, a modificação de Mandelbrot soma uma constante ao denominador.

Que tamanho de corpus preciso? Cerca de 1M de tokens já estabiliza os 5.000 primeiros ranks. Para listas de frequência de nível acadêmico, mire em 10M ou mais.