1001Ferramentas
🌍Texto

Detector de Idioma (trigrama)

Adivinha PT/EN/ES por presença de trigramas comuns.

Idioma

Adivinhar o idioma por pedaços de três letras

Você tem uma pilha de textos misturados e precisa separar o que é português, inglês e espanhol antes de mandar para tradução ou para um índice de busca. Para poucos parágrafos, dá para olhar e decidir. Para trezentas linhas de um CSV, não dá. Esta página faz o palpite mais barato que existe: procura pedaços de três letras típicos de cada idioma e vê qual deles soma mais ocorrências.

A lista é fixa e curta, seis trigramas por idioma. Português usa ção, que, ent, ade, par e ndo; inglês usa the, ing, and, ion, ent e tio; espanhol usa que, ent, aci, ado, ist e par. A contagem é bruta, sem normalizar por tamanho e sem probabilidade. Como português e espanhol dividem três trigramas, empate é comum, e todo empate cai para Português, que é o primeiro da lista. Zero ocorrência nos três resolve igual.

Cole pelo menos um parágrafo. O exemplo curto em inglês que já vem na caixa é justamente um caso em que nenhum trigrama aparece, e por isso ele sai rotulado como Português. Só existem três idiomas no modelo: francês, italiano ou alemão vão ser forçados para um dos três, sem aviso. Use para triagem grosseira e nunca para roteamento automático de conteúdo. Tudo roda no navegador.

Perguntas frequentes

Por que o exemplo em inglês aparece como Português?
Nenhum dos dezoito trigramas ocorre nele, os três idiomas empatam em zero e o desempate segue a ordem da lista, que começa em Português. Com um parágrafo de verdade o resultado corrige.
Ele detecta francês?
Não. O modelo só conhece português, inglês e espanhol, e qualquer outro idioma é forçado para um desses três.
Quantas palavras preciso colar?
Quanto mais, melhor. Abaixo de umas trinta palavras a chance de nenhum trigrama aparecer é alta, e aí o resultado não significa nada.

Ferramentas Relacionadas