jaccardcoeficient.c

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# Calcular similitud sintáctica usando el coeficiente de Jaccard (basado en shingles) #
documents     = ["También es texto una composición de caracteres imprimibles (con grafema) generados por un algoritmo de cifrado que, aunque no tienen sentido para cualquier persona, sí puede ser descifrado por su destinatario original. En otras palabras, un texto es un entramado de signos con una intención comunicativa que adquiere sentido en determinado contexto.",
                 "También es texto una composición imprimible de caracteres generados por un algoritmo de cifrado que, a pesar de no tener sentido para cualquier persona, sí puede ser descifrado por el destinatario. En resumen, un texto es un conjunto de signos con una intención comunicativa que adquiere sentido en contextos determinados."]
threshold     = 0.8

def __extractShingles(document,n):
    document = document.split(" ")
    ret      = set()
    for i in xrange(len(document)-n+1):
        res = ""
        for j in xrange(n): res += document[i+j]
        ret.add(res)
    return ret

def __jaccardCoeficient(setDocument1,setDocument2):
    return float(len(setDocument1.intersection(setDocument2)))/float(len(setDocument1.union(setDocument2)))

print __jaccardCoeficient(__extractShingles(documents[1],2),__extractShingles(documents[0],2))