Similaridade de Jaccard

Duas respostas de prova parecidas demais, duas versões do mesmo parágrafo, mil títulos de produto com repetição: em todos os casos a pergunta é a mesma, quanto de vocabulário eles têm em comum. O índice de Jaccard responde com um número entre 0 e 1, que é o total de palavras compartilhadas dividido pelo total de palavras distintas dos dois textos somados.

Cada texto vira um conjunto de palavras únicas em minúsculas, então ordem e repetição somem. O gato mordeu o cachorro e o cachorro mordeu o gato dão 1, similaridade máxima, apesar de dizerem coisas opostas. O exemplo da caixa dá 0,333333, ou duas palavras em comum sobre seis distintas. A quebra de palavras trata só letras sem acento e dígitos como válidas, então coração é partido em cora e o.

Sem lista de palavras de parada, textos longos em português sempre compartilham de, a, o, que e para, o que empurra o índice para cima. Para uso em plágio, retire as palavras funcionais antes de colar ou compare trechos curtos, e lembre que paráfrase com sinônimos dá índice baixo mesmo sendo cópia de ideia. Valores muito pequenos saem em notação científica. Os dois textos ficam no navegador.