Python para PNL: trabajar con la biblioteca Gensim (Parte 1)

    Este es el décimo artículo de mi serie de artículos sobre Python para PNL. En mi artículo anterior, expliqué cómo StanfordCoreNLP La biblioteca se puede utilizar para realizar diferentes tareas de PNL.

    En este artículo, exploraremos el Gensim library, que es otra biblioteca de PNL extremadamente útil para Python. Gensim se desarrolló principalmente para modelar temas. Sin embargo, ahora admite una variedad de otras tareas de PNL, como convertir palabras en vectores (word2vec), documentos en vectores (doc2vec), encontrar similitudes de texto y resúmenes de texto.

    En este artículo y en el próximo artículo de la serie, veremos cómo se utiliza la biblioteca Gensim para realizar estas tareas.

    Instalación de Gensim

    Si usa el instalador pip para instalar sus bibliotecas de Python, puede usar el siguiente comando para descargar la biblioteca de Gensim:

    $ pip install gensim
    

    Alternativamente, si usa la distribución Anaconda de Python, puede ejecutar el siguiente comando para instalar la biblioteca Gensim:

    $ conda install -c anaconda gensim
    

    Veamos ahora cómo podemos realizar diferentes tareas de PNL usando la biblioteca Gensim.

    Crear diccionarios

    Los algoritmos estadísticos funcionan con números, sin embargo, los lenguajes naturales contienen datos en forma de texto. Por lo tanto, se necesita un mecanismo para convertir palabras en números. De manera similar, después de aplicar diferentes tipos de procesos en los números, necesitamos convertir los números nuevamente en texto.

    Una forma de lograr este tipo de funcionalidad es crear un diccionario que asigne un ID numérico a cada palabra única del documento. El diccionario se puede usar para encontrar el equivalente numérico de una palabra y viceversa.

    Creación de diccionarios utilizando objetos en memoria

    Es muy fácil crear diccionarios que mapeen palabras a ID utilizando la biblioteca Gensim de Python. Mira el siguiente guión:

    import gensim
    from gensim import corpora
    from pprint import pprint
    
    text = ["""In computer science, artificial intelligence (AI),
                 sometimes called machine intelligence, is intelligence
                 demonstrated by machines, in contrast to the natural intelligence
                 displayed by humans and animals. Computer science defines
                 AI research as the study of intelligent agents: any device that
                 perceives its environment and takes actions that maximize its chance
                 of successfully achieving its goals."""]
    
    tokens = [[token for token in sentence.split()] for sentence in text]
    gensim_dictionary = corpora.Dictionary(tokens)
    
    print("The dictionary has: " +str(len(gensim_dictionary)) + " tokens")
    
    for k, v in gensim_dictionary.token2id.items():
        print(f'{k:{15}} {v:{10}}')
    

    En el script anterior, primero importamos el gensim biblioteca junto con la corpora módulo de la biblioteca. A continuación, tenemos un texto (que es la primera parte del primer párrafo del artículo de Wikipedia sobre Inteligencia Artificial) almacenado en el text variable.

    Para crear un diccionario, necesitamos una lista de palabras de nuestro texto (también conocidas como tokens). En la siguiente línea, dividimos nuestro documento en oraciones y luego las oraciones en palabras.

    tokens = [[token for token in sentence.split()] for sentence in text]
    

    Ahora estamos listos para crear nuestro diccionario. Para hacerlo, podemos usar el Dictionary objeto de la corpora módulo y pasarle la lista de tokens.

    Finalmente, para imprimir el contenido del diccionario recién creado, podemos usar el token2id objeto de la Dictionary clase. La salida del script anterior se ve así:

    The dictionary has: 46 tokens
    (AI),                    0
    AI                       1
    Computer                 2
    In                       3
    achieving                4
    actions                  5
    agents:                  6
    and                      7
    animals.                 8
    any                      9
    artificial              10
    as                      11
    by                      12
    called                  13
    chance                  14
    computer                15
    contrast                16
    defines                 17
    demonstrated            18
    device                  19
    displayed               20
    environment             21
    goals.                  22
    humans                  23
    in                      24
    intelligence            25
    intelligence,           26
    intelligent             27
    is                      28
    its                     29
    machine                 30
    machines,               31
    maximize                32
    natural                 33
    of                      34
    perceives               35
    research                36
    science                 37
    science,                38
    sometimes               39
    study                   40
    successfully            41
    takes                   42
    that                    43
    the                     44
    to                      45
    

    La salida muestra cada palabra única en nuestro texto junto con el ID numérico que se le ha asignado a la palabra. La palabra o token es la clave del diccionario y el ID es el valor. También puede ver el ID asignado a la palabra individual usando el siguiente script:

    print(gensim_dictionary.token2id["study"])
    

    En el guión anterior, pasamos la palabra “estudiar” como clave de nuestro diccionario. En la salida, debería ver el valor correspondiente, es decir, el ID de la palabra “estudio”, que es 40.

    Del mismo modo, puede utilizar el siguiente script para encontrar la clave o la palabra de una identificación específica.

    print(list(gensim_dictionary.token2id.keys())[list(gensim_dictionary.token2id.values()).index(40)])
    

    Para imprimir los tokens y sus ID correspondientes, usamos un bucle for. Sin embargo, puede imprimir directamente los tokens y sus ID imprimiendo el diccionario, como se muestra aquí:

    print(gensim_dictionary.token2id)
    

    El resultado es el siguiente:

    {'(AI),': 0, 'AI': 1, 'Computer': 2, 'In': 3, 'achieving': 4, 'actions': 5, 'agents:': 6, 'and': 7, 'animals.': 8, 'any': 9, 'artificial': 10, 'as': 11, 'by': 12, 'called': 13, 'chance': 14, 'computer': 15, 'contrast': 16, 'defines': 17, 'demonstrated': 18, 'device': 19, 'displayed': 20, 'environment': 21, 'goals.': 22, 'humans': 23, 'in': 24, 'intelligence': 25, 'intelligence,': 26, 'intelligent': 27, 'is': 28, 'its': 29, 'machine': 30, 'machines,': 31, 'maximize': 32, 'natural': 33, 'of': 34, 'perceives': 35, 'research': 36, 'science': 37, 'science,': 38, 'sometimes': 39, 'study': 40, 'successfully': 41, 'takes': 42, 'that': 43, 'the': 44, 'to': 45}
    

    Es posible que el resultado no sea tan claro como el que se imprimió utilizando el bucle, aunque todavía cumple su propósito.

    Veamos ahora cómo podemos agregar más tokens a un diccionario existente usando un nuevo documento. Mira el siguiente guión:

    text = ["""Colloquially, the term "artificial intelligence" is used to
               describe machines that mimic "cognitive" functions that humans
               associate with other human minds, such as "learning" and "problem solving"""]
    
    tokens = [[token for token in sentence.split()] for sentence in text]
    gensim_dictionary.add_documents(tokens)
    
    print("The dictionary has: " + str(len(gensim_dictionary)) + " tokens")
    print(gensim_dictionary.token2id)
    

    En el guión de arriba tenemos un nuevo documento que contiene la segunda parte del primer párrafo del artículo de Wikipedia sobre Inteligencia Artificial. Dividimos el texto en tokens y luego simplemente llamamos al add_documents método para agregar los tokens a nuestro diccionario existente. Finalmente, imprimimos el diccionario actualizado en la consola.

    La salida del código se ve así:

    The dictionary has: 65 tokens
    {'(AI),': 0, 'AI': 1, 'Computer': 2, 'In': 3, 'achieving': 4, 'actions': 5, 'agents:': 6, 'and': 7, 'animals.': 8, 'any': 9, 'artificial': 10, 'as': 11, 'by': 12, 'called': 13, 'chance': 14, 'computer': 15, 'contrast': 16, 'defines': 17, 'demonstrated': 18, 'device': 19, 'displayed': 20, 'environment': 21, 'goals.': 22, 'humans': 23, 'in': 24, 'intelligence': 25, 'intelligence,': 26, 'intelligent': 27, 'is': 28, 'its': 29, 'machine': 30, 'machines,': 31, 'maximize': 32, 'natural': 33, 'of': 34, 'perceives': 35, 'research': 36, 'science': 37, 'science,': 38, 'sometimes': 39, 'study': 40, 'successfully': 41, 'takes': 42, 'that': 43, 'the': 44, 'to': 45, '"artificial': 46, '"cognitive"': 47, '"learning"': 48, '"problem': 49, 'Colloquially,': 50, 'associate': 51, 'describe': 52, 'functions': 53, 'human': 54, 'intelligence"': 55, 'machines': 56, 'mimic': 57, 'minds,': 58, 'other': 59, 'solving': 60, 'such': 61, 'term': 62, 'used': 63, 'with': 64}
    

    Puede ver que ahora tenemos 65 tokens en nuestro diccionario, mientras que anteriormente teníamos 45 tokens.

    Crear diccionarios usando archivos de texto

    En la sección anterior, teníamos texto en memoria. ¿Qué pasa si queremos crear un diccionario leyendo un archivo de texto del disco duro? Para hacerlo, podemos usar el simple_process método del gensim.utils biblioteca. La ventaja de utilizar este método es que lee el archivo de texto línea por línea y devuelve los tokens en la línea. No tiene que cargar el archivo de texto completo en la memoria para crear un diccionario.

    Antes de ejecutar el siguiente ejemplo, cree un archivo “file1.txt” y agregue el siguiente texto al archivo (esta es la primera mitad del primer párrafo del artículo de Wikipedia sobre el calentamiento global).

    Global warming is a long-term rise in the average temperature of the Earth's climate system, an aspect of climate change shown by temperature measurements and by multiple effects of the warming. Though earlier geological periods also experienced episodes of warming, the term commonly refers to the observed and continuing increase in average air and ocean temperatures since 1900 caused mainly by emissions of greenhouse gasses in the modern industrial economy.
    

    Ahora creemos un diccionario que contendrá tokens del archivo de texto “file1.txt”:

    from gensim.utils import simple_preprocess
    from smart_open import smart_open
    import os
    
    gensim_dictionary = corpora.Dictionary(simple_preprocess(sentence, deacc=True) for sentence in open(r'E:\text files\file1.txt', encoding='utf-8'))
    
    print(gensim_dictionary.token2id)
    

    En el script de arriba leemos el archivo de texto “file1.txt” línea por línea usando el simple_preprocess método. El método devuelve tokens en cada línea del documento. Luego, los tokens se utilizan para crear el diccionario. En la salida, debería ver los tokens y sus ID correspondientes, como se muestra a continuación:

    {'average': 0, 'climate': 1, 'earth': 2, 'global': 3, 'in': 4, 'is': 5, 'long': 6, 'of': 7, 'rise': 8, 'system': 9, 'temperature': 10, 'term': 11, 'the': 12, 'warming': 13, 'an': 14, 'and': 15, 'aspect': 16, 'by': 17, 'change': 18, 'effects': 19, 'measurements': 20, 'multiple': 21, 'shown': 22, 'also': 23, 'earlier': 24, 'episodes': 25, 'experienced': 26, 'geological': 27, 'periods': 28, 'though': 29, 'air': 30, 'commonly': 31, 'continuing': 32, 'increase': 33, 'observed': 34, 'ocean': 35, 'refers': 36, 'temperatures': 37, 'to': 38, 'caused': 39, 'economy': 40, 'emissions': 41, 'gasses': 42, 'greenhouse': 43, 'industrial': 44, 'mainly': 45, 'modern': 46, 'since': 47}
    

    Del mismo modo, podemos crear un diccionario leyendo varios archivos de texto. Cree otro archivo “file2.txt” y agregue el siguiente texto al archivo (la segunda parte del primer párrafo del artículo de Wikipedia sobre el calentamiento global):

    In the modern context the terms global warming and climate change are commonly used interchangeably, but climate change includes both global warming and its effects, such as changes to precipitation and impacts that differ by region.[7][8] Many of the observed warming changes since the 1950s are unprecedented in the instrumental temperature record, and in historical and paleoclimate proxy records of climate change over thousands to millions of years.
    

    Guarde el “archivo2.txt” en el mismo directorio que el “archivo1.txt”.

    La siguiente secuencia de comandos lee ambos archivos y luego crea un diccionario basado en el texto de los dos archivos:

    from gensim.utils import simple_preprocess
    from smart_open import smart_open
    import os
    
    class ReturnTokens(object):
        def __init__(self, dir_path):
            self.dir_path = dir_path
    
        def __iter__(self):
            for file_name in os.listdir(self.dir_path):
                for sentence in open(os.path.join(self.dir_path, file_name), encoding='utf-8'):
                    yield simple_preprocess(sentence)
    
    path_to_text_directory = r"E:text files"
    gensim_dictionary = corpora.Dictionary(ReturnTokens(path_to_text_directory))
    
    print(gensim_dictionary.token2id)
    

    En el script de arriba tenemos un método ReturnTokens, que toma la ruta del directorio que contiene “file1.txt” y “file2.txt” como único parámetro. Dentro del método iteramos a través de todos los archivos en el directorio y luego leemos cada archivo línea por línea. los simple_preprocess El método crea tokens para cada línea. Los tokens de cada línea se devuelven a la función de llamada utilizando la palabra clave “yield”.

    En el resultado, debería ver los siguientes tokens junto con sus ID:

    {'average': 0, 'climate': 1, 'earth': 2, 'global': 3, 'in': 4, 'is': 5, 'long': 6, 'of': 7, 'rise': 8, 'system': 9, 'temperature': 10, 'term': 11, 'the': 12, 'warming': 13, 'an': 14, 'and': 15, 'aspect': 16, 'by': 17, 'change': 18, 'effects': 19, 'measurements': 20, 'multiple': 21, 'shown': 22, 'also': 23, 'earlier': 24, 'episodes': 25, 'experienced': 26, 'geological': 27, 'periods': 28, 'though': 29, 'air': 30, 'commonly': 31, 'continuing': 32, 'increase': 33, 'observed': 34, 'ocean': 35, 'refers': 36, 'temperatures': 37, 'to': 38, 'caused': 39, 'economy': 40, 'emissions': 41, 'gasses': 42, 'greenhouse': 43, 'industrial': 44, 'mainly': 45, 'modern': 46, 'since': 47, 'are': 48, 'context': 49, 'interchangeably': 50, 'terms': 51, 'used': 52, 'as': 53, 'both': 54, 'but': 55, 'changes': 56, 'includes': 57, 'its': 58, 'precipitation': 59, 'such': 60, 'differ': 61, 'impacts': 62, 'instrumental': 63, 'many': 64, 'record': 65, 'region': 66, 'that': 67, 'unprecedented': 68, 'historical': 69, 'millions': 70, 'over': 71, 'paleoclimate': 72, 'proxy': 73, 'records': 74, 'thousands': 75, 'years': 76}
    

    Creando el Corpus de Bolsa de Palabras

    Los diccionarios contienen asignaciones entre palabras y sus valores numéricos correspondientes. Los corpus de la bolsa de palabras de la biblioteca de Gensim se basan en diccionarios y contienen el ID de cada palabra junto con la frecuencia de aparición de la palabra.

    Creación de un corpus de bolsa de palabras a partir de objetos en memoria

    Mira el siguiente guión:

    import gensim
    from gensim import corpora
    from pprint import pprint
    
    text = ["""In computer science, artificial intelligence (AI),
               sometimes called machine intelligence, is intelligence
               demonstrated by machines, in contrast to the natural intelligence
               displayed by humans and animals. Computer science defines
               AI research as the study of intelligent agents: any device that
               perceives its environment and takes actions that maximize its chance
               of successfully achieving its goals."""]
    
    tokens = [[token for token in sentence.split()] for sentence in text]
    
    gensim_dictionary = corpora.Dictionary()
    gensim_corpus = [gensim_dictionary.doc2bow(token, allow_update=True) for token in tokens]
    
    print(gensim_corpus)
    

    En el script anterior, tenemos texto que dividimos en tokens. A continuación, inicializamos un Dictionary objeto del corpora módulo. El objeto contiene un método doc2bow, que básicamente realiza dos tareas:

    • Repite todas las palabras del texto, si la palabra ya existe en el corpus, incrementa el recuento de frecuencia de la palabra.
    • De lo contrario, inserta la palabra en el corpus y establece su recuento de frecuencia en 1

    La salida del script anterior se ve así:

    [[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1), (6, 1), (7, 2), (8, 1), (9, 1), (10, 1), (11, 1), (12, 2), (13, 1), (14, 1), (15, 1), (16, 1), (17, 1), (18, 1), (19, 1), (20, 1), (21, 1), (22, 1), (23, 1), (24, 1), (25, 3), (26, 1), (27, 1), (28, 1), (29, 3), (30, 1), (31, 1), (32, 1), (33, 1), (34, 2), (35, 1), (36, 1), (37, 1), (38, 1), (39, 1), (40, 1), (41, 1), (42, 1), (43, 2), (44, 2), (45, 1)]]
    

    Es posible que la salida no tenga sentido para usted. Déjame explicarte. La primera tupla (0,1) básicamente significa que la palabra con ID 0 apareció 1 vez en el texto. De manera similar, (25, 3) significa que la palabra con ID 25 apareció tres veces en el documento.

    Imprimamos ahora la palabra y la frecuencia para aclarar las cosas. Agregue las siguientes líneas de código al final del script anterior:

    word_frequencies = [[(gensim_dictionary[id], frequence) for id, frequence in couple] for couple in gensim_corpus]
    print(word_frequencies)
    

    La salida se ve así:

    [[('(AI),', 1), ('AI', 1), ('Computer', 1), ('In', 1), ('achieving', 1), ('actions', 1), ('agents:', 1), ('and', 2), ('animals.', 1), ('any', 1), ('artificial', 1), ('as', 1), ('by', 2), ('called', 1), ('chance', 1), ('computer', 1), ('contrast', 1), ('defines', 1), ('demonstrated', 1), ('device', 1), ('displayed', 1), ('environment', 1), ('goals.', 1), ('humans', 1), ('in', 1), ('intelligence', 3), ('intelligence,', 1), ('intelligent', 1), ('is', 1), ('its', 3), ('machine', 1), ('machines,', 1), ('maximize', 1), ('natural', 1), ('of', 2), ('perceives', 1), ('research', 1), ('science', 1), ('science,', 1), ('sometimes', 1), ('study', 1), ('successfully', 1), ('takes', 1), ('that', 2), ('the', 2), ('to', 1)]]
    

    En el resultado, puede ver que la palabra “inteligencia” aparece tres veces. Del mismo modo, la palabra “eso” aparece dos veces.

    Creación de un corpus de bolsa de palabras a partir de archivos de texto

    Como los diccionarios, también podemos crear un bolsa de palabras corpus leyendo un archivo de texto. Mira el siguiente código:

    from gensim.utils import simple_preprocess
    from smart_open import smart_open
    import os
    
    tokens = [simple_preprocess(sentence, deacc=True) for sentence in open(r'E:text filesfile1.txt', encoding='utf-8')]
    
    gensim_dictionary = corpora.Dictionary()
    gensim_corpus = [gensim_dictionary.doc2bow(token, allow_update=True) for token in tokens]
    word_frequencies = [[(gensim_dictionary[id], frequence) for id, frequence in couple] for couple in gensim_corpus]
    
    print(word_frequencies)
    

    En el script anterior, creamos una bolsa de corpus de palabras usando “file1.txt”. En el resultado, debería ver las palabras en el primer párrafo del artículo sobre calentamiento global en Wikipedia.

    [[('average', 1), ('climate', 1), ('earth', 1), ('global', 1), ('in', 1), ('is', 1), ('long', 1), ('of', 1), ('rise', 1), ('system', 1), ('temperature', 1), ('term', 1), ('the', 2), ('warming', 1)], [('climate', 1), ('of', 2), ('temperature', 1), ('the', 1), ('warming', 1), ('an', 1), ('and', 1), ('aspect', 1), ('by', 2), ('change', 1), ('effects', 1), ('measurements', 1), ('multiple', 1), ('shown', 1)], [('of', 1), ('warming', 1), ('also', 1), ('earlier', 1), ('episodes', 1), ('experienced', 1), ('geological', 1), ('periods', 1), ('though', 1)], [('average', 1), ('in', 1), ('term', 1), ('the', 2), ('and', 2), ('air', 1), ('commonly', 1), ('continuing', 1), ('increase', 1), ('observed', 1), ('ocean', 1), ('refers', 1), ('temperatures', 1), ('to', 1)], [('in', 1), ('of', 1), ('the', 1), ('by', 1), ('caused', 1), ('economy', 1), ('emissions', 1), ('gasses', 1), ('greenhouse', 1), ('industrial', 1), ('mainly', 1), ('modern', 1), ('since', 1)]]
    

    La salida muestra que las palabras como “de”, “el”, “por” y “y” aparecen dos veces.

    Del mismo modo, puede crear un corpus de bolsa de palabras utilizando varios archivos de texto, como se muestra a continuación:

    from gensim.utils import simple_preprocess
    from smart_open import smart_open
    import os
    
    class ReturnTokens(object):
        def __init__(self, dir_path):
            self.dir_path = dir_path
    
        def __iter__(self):
            for file_name in os.listdir(self.dir_path):
                for sentence in open(os.path.join(self.dir_path, file_name), encoding='utf-8'):
                    yield simple_preprocess(sentence)
    
    path_to_text_directory = r"E:text files"
    
    gensim_dictionary = corpora.Dictionary()
    gensim_corpus = [gensim_dictionary.doc2bow(token, allow_update=True) for token in ReturnTokens(path_to_text_directory)]
    word_frequencies = [[(gensim_dictionary[id], frequence) for id, frequence in couple] for couple in gensim_corpus]
    
    print(word_frequencies)
    

    La salida del script anterior se ve así:

    [[('average', 1), ('climate', 1), ('earth', 1), ('global', 1), ('in', 1), ('is', 1), ('long', 1), ('of', 1), ('rise', 1), ('system', 1), ('temperature', 1), ('term', 1), ('the', 2), ('warming', 1)], [('climate', 1), ('of', 2), ('temperature', 1), ('the', 1), ('warming', 1), ('an', 1), ('and', 1), ('aspect', 1), ('by', 2), ('change', 1), ('effects', 1), ('measurements', 1), ('multiple', 1), ('shown', 1)], [('of', 1), ('warming', 1), ('also', 1), ('earlier', 1), ('episodes', 1), ('experienced', 1), ('geological', 1), ('periods', 1), ('though', 1)], [('average', 1), ('in', 1), ('term', 1), ('the', 2), ('and', 2), ('air', 1), ('commonly', 1), ('continuing', 1), ('increase', 1), ('observed', 1), ('ocean', 1), ('refers', 1), ('temperatures', 1), ('to', 1)], [('in', 1), ('of', 1), ('the', 1), ('by', 1), ('caused', 1), ('economy', 1), ('emissions', 1), ('gasses', 1), ('greenhouse', 1), ('industrial', 1), ('mainly', 1), ('modern', 1), ('since', 1)], [('climate', 1), ('global', 1), ('in', 1), ('the', 2), ('warming', 1), ('and', 1), ('change', 1), ('commonly', 1), ('modern', 1), ('are', 1), ('context', 1), ('interchangeably', 1), ('terms', 1), ('used', 1)], [('climate', 1), ('global', 1), ('warming', 1), ('and', 2), ('change', 1), ('effects', 1), ('to', 1), ('as', 1), ('both', 1), ('but', 1), ('changes', 1), ('includes', 1), ('its', 1), ('precipitation', 1), ('such', 1)], [('in', 1), ('of', 1), ('temperature', 1), ('the', 3), ('warming', 1), ('by', 1), ('observed', 1), ('since', 1), ('are', 1), ('changes', 1), ('differ', 1), ('impacts', 1), ('instrumental', 1), ('many', 1), ('record', 1), ('region', 1), ('that', 1), ('unprecedented', 1)], [('climate', 1), ('in', 1), ('of', 2), ('and', 2), ('change', 1), ('to', 1), ('historical', 1), ('millions', 1), ('over', 1), ('paleoclimate', 1), ('proxy', 1), ('records', 1), ('thousands', 1), ('years', 1)]]
    

    Creación de TF-IDF Corpus

    El enfoque de la bolsa de palabras funciona bien para convertir texto en números. Sin embargo, tiene un inconveniente. Asigna una puntuación a una palabra en función de su aparición en un documento en particular. No tiene en cuenta el hecho de que la palabra también puede tener una alta frecuencia de apariciones en otros documentos. TF-IDF resuelve este problema.

    El término frecuencia se calcula como:

    Term frequency = (Frequency of the word in a document)/(Total words in the document)
    

    Y la frecuencia inversa del documento se calcula como:

    IDF(word) = Log((Total number of documents)/(Number of documents containing the word))
    

    Usando la biblioteca Gensim, podemos crear fácilmente un corpus TF-IDF:

    import gensim
    from gensim import corpora
    from pprint import pprint
    
    text = ["I like to play Football",
           "Football is the best game",
           "Which game do you like to play ?"]
    
    tokens = [[token for token in sentence.split()] for sentence in text]
    
    gensim_dictionary = corpora.Dictionary()
    gensim_corpus = [gensim_dictionary.doc2bow(token, allow_update=True) for token in tokens]
    
    from gensim import models
    import numpy as np
    
    tfidf = models.TfidfModel(gensim_corpus, smartirs="ntc")
    
    for sent in tfidf[gensim_corpus]:
        print([[gensim_dictionary[id], np.around(frequency, decimals=2)] for id, frequency in sent])
    

    Para encontrar el valor de TF-IDF, podemos usar el TfidfModel clase de la models módulo de la biblioteca Gensim. Simplemente tenemos que pasar la bolsa de corpus de palabras como parámetro al constructor del TfidfModel clase. En la salida, verá todas las palabras en las tres oraciones, junto con sus valores TF-IDF:

    [['Football', 0.3], ['I', 0.8], ['like', 0.3], ['play', 0.3], ['to', 0.3]]
    [['Football', 0.2], ['best', 0.55], ['game', 0.2], ['is', 0.55], ['the', 0.55]]
    [['like', 0.17], ['play', 0.17], ['to', 0.17], ['game', 0.17], ['?', 0.47], ['Which', 0.47], ['do', 0.47], ['you', 0.47]]
    

    Descarga de modelos y conjuntos de datos integrados de Gensim

    Gensim viene con una variedad de conjuntos de datos integrados y modelos de incrustación de palabras que se pueden usar directamente.

    Para descargar un modelo o conjunto de datos incorporado, podemos usar el downloader clase de la gensim biblioteca. Luego podemos llamar al método de carga en el downloader class para descargar el paquete deseado. Mira el siguiente código:

    import gensim.downloader as api
    
    w2v_embedding = api.load("glove-wiki-gigaword-100")
    

    Con los comandos anteriores, descargamos el modelo de incrustación de palabras “glove-wiki-gigaword-100”, que se basa básicamente en el texto de Wikipedia y tiene 100 dimensiones. Intentemos encontrar las palabras similares a “toyota” usando nuestro modelo de incrustación de palabras. Utilice el siguiente código para hacerlo:

    w2v_embedding.most_similar('toyota')
    

    En la salida, debería ver los siguientes resultados:

    [('honda', 0.8739858865737915),
     ('nissan', 0.8108116984367371),
     ('automaker', 0.7918163537979126),
     ('mazda', 0.7687169313430786),
     ('bmw', 0.7616022825241089),
     ('ford', 0.7547588348388672),
     ('motors', 0.7539199590682983),
     ('volkswagen', 0.7176680564880371),
     ('prius', 0.7156582474708557),
     ('chrysler', 0.7085398435592651)]
    

    Puedes ver que todos los resultados son muy relevantes para la palabra “toyota”. El número de la fracción corresponde al índice de similitud. Un índice de similitud más alto significa que la palabra es más relevante.

    Conclusión

    La biblioteca Gensim es una de las bibliotecas de Python más populares para NLP. En este artículo, exploramos brevemente cómo se puede usar la biblioteca Gensim para realizar tareas como la creación de un diccionario y un corpus. También vimos cómo descargar módulos incorporados de Gensim. En nuestro próximo artículo, veremos cómo realizar el modelado de temas a través de la biblioteca Gensim.

    Etiquetas:

    Deja una respuesta

    Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *