Calculadora de Frequencia Trigramas PT BR

Frequência de trigramas em português brasileiro

Um trigrama é simplesmente um conjunto de três letras consecutivas tiradas de um texto. Para saber o quanto cada tripla aparece, divide-se a contagem dela pelo total: f(xyz) = ocorrências(xyz) / total_trigramas. O denominador aí é o número de triplas sobrepostas no corpus. Uma cadeia de tamanho n tem exatamente n - 2 delas.

No português brasileiro, os trigramas mais frequentes acabam revelando os morfemas e flexões típicos da língua. Quase sempre você encontra “que”, “ent”, “des”, “con”, “est”, “men”, “par” e “ada” no topo do ranking, o que reflete prefixos comuns como des- e con- e as terminações verbais.

Aplicações

Modelos estatísticos de língua como o KenLM e os da Stanford NLP funcionam com trigramas. Eles foram o motor de predição do antigo teclado T9 e continuam no coração da correção de erros de OCR, que ordena os candidatos de substituição pela verossimilhança de cada trigrama. A mesma ideia ajuda na correção ortográfica e em descobrir em que língua um texto está escrito.

Perguntas frequentes

Por que usar trigramas em vez de bigramas? A letra a mais dá mais contexto. Com trigrama dá para separar “ent” (comum em radicais verbais como “dente” e “sente”) do sufixo “ente”, algo que um modelo de bigrama não dá conta de distinguir.

O que é o problema de esparsidade? A quantidade de triplas possíveis cresce com o cubo do alfabeto, então muitas combinações perfeitamente válidas nunca chegam a aparecer no treinamento. Técnicas de suavização como Kneser-Ney resolvem isso passando parte da massa de probabilidade para os trigramas que não foram vistos.

Trigramas ainda são relevantes na era dos transformers? São sim. Quando o que você precisa é do baseline mais rápido possível, eles ainda ganham em teclados, OCR embarcado e identificação de língua leve, justamente os lugares onde um modelo neural seria pesado demais.