Calculadora de Frequencia Bigramas PT BR

Frequência de bigramas em português brasileiro

Um bigrama nada mais é do que duas letras que aparecem lado a lado num texto. Para saber o quanto cada par é comum, você divide a contagem dele pelo total, que é o que diz f(xy) = ocorrências(xy) / total_bigramas. O denominador conta todos os pares de letras sobrepostos no corpus. Uma cadeia de tamanho n sempre gera n - 1 bigramas.

Como o português brasileiro privilegia sílabas abertas e terminações cheias de vogais, os bigramas mais frequentes acabam refletindo isso. Quando se mede pelo Corpus Brasileiro Câmara Cascudo e por outras coleções de referência, o top dez costuma sair assim: “ar”, “es”, “de”, “os”, “do”, “ra”, “te”, “to”, “na” e “as”.

Aplicações

Os modelos clássicos de n-gramas se apoiam bastante nas estatísticas de bigramas, e elas aparecem em todo canto: no PLN, no autocompletar e na predição de texto do celular, na limpeza de OCR e na criptoanálise estatística. Também servem de atributo quando um sistema tenta adivinhar a língua de um texto ou quem o escreveu.

Perguntas frequentes

Por que os bigramas são mais úteis que letras isoladas? Uma letra sozinha só diz com que frequência ela aparece por conta própria. Já o bigrama carrega um pouco de contexto local e uma pista da estrutura silábica, o que faz toda a diferença para identificar a língua e prever o próximo caractere.

Os bigramas atravessam fronteiras de palavra? Isso depende do tokenizador. Quando ele leva os espaços em conta, os bigramas ficam dentro de uma mesma palavra. Já um extrator em nível de caractere inclui os pares espaço-letra, e esses ajudam a detectar prefixos.

Como ficam as letras acentuadas? Os corpora modernos do português brasileiro tratam os acentos (á, é, ç) como caracteres distintos. Se você neutralizar esses acentos, acaba juntando bigramas que soam diferente, então eles ficam separados.