Come creare unAPI REST di deep learning con Word2Vec e Flask

• Prerequisiti
• Cosa sono gli incantesimi di parole?
• Installazione dei pacchetti pallone e magnitudo
• Interrogazione del modello Word2Vec
• Creazione di un'API REST
• Effettuare chiamate API

Gli approcci tradizionali allo sviluppo sono difficili da mantenere quando si utilizzano modelli di apprendimento automatico complessi in produzione. Lo sviluppo su un laptop o una macchina locale può essere lento per addestrare il modello di machine learning per gli ingegneri del deep learning. Di conseguenza, in genere utilizziamo macchine cloud con hardware più potente per addestrare ed eseguire i nostri modelli di apprendimento automatico. Questa è una buona pratica poiché astraggiamo un calcolo complesso e facciamo invece richieste AJAX come necessario. In questo tutorial, renderemo disponibile un modello di apprendimento approfondito pre-addestrato chiamato Word2Vec per altri servizi creando un'API REST da zero.

Prerequisiti

• Un'istanza del server Ubuntu 16.04 con almeno 4 GB di RAM. A scopo di test e sviluppo, è possibile scegliere un'istanza con 4 GB di RAM
• Comprensione di come utilizzare il sistema operativo Linux per creare / navigare / modificare cartelle e file
• Un sudoutente

Cosa sono gli incantesimi di parole?

Gli incorporamenti di parole sono uno sviluppo recente nell'elaborazione del linguaggio naturale e nell'apprendimento profondo che ha rivoluzionato entrambi i campi a causa dei rapidi progressi. Gli incorporamenti di parole sono essenzialmente vettori che corrispondono ciascuno a una singola parola in modo tale che i vettori intendono le parole. Questo può essere dimostrato da alcuni fenomeni come il vettore per king - queen = boy - girl. I vettori di parole vengono utilizzati per costruire qualsiasi cosa, dai motori di raccomandazione ai chat-bot che comprendono effettivamente la lingua inglese.

Gli incorporamenti di parole non sono casuali; sono generati allenando una rete neurale. Una recente e potente implementazione dell'incorporamento di parole proviene da Google denominata Word2Vec, che viene addestrata predicendo le parole che appaiono accanto ad altre parole in una lingua. Ad esempio, per la parola "cat", la rete neurale predirà le parole "kitten"e "feline". Questa intuizione delle parole che appaiono una accanto all'altra ci consente di posizionarle nello spazio vettoriale.

Tuttavia, in pratica, tendiamo a utilizzare i modelli pre-addestrati di altre grandi aziende come Google per prototipare rapidamente e semplificare i processi di implementazione. In questo tutorial scaricheremo e utilizzeremo gli incorporamenti di parole pre-addestrate di Word2Vec di Google. Possiamo farlo eseguendo il seguente comando nella nostra directory di lavoro.

wget http://magnitude.plasticity.ai/word2vec/GoogleNews-vectors-negative300.magnitude

Installazione dei pacchetti pallone e magnitudo

Il modello di incorporamento delle parole che abbiamo scaricato è in un .magnitudeformato. Questo formato ci consente di interrogare il modello in modo efficiente utilizzando SQL ed è quindi il formato di incorporamento ottimale per i server di produzione. Dato che dobbiamo essere in grado di leggere il .magnitudeformato, installeremo il pymagnitudepacchetto. Installeremo anche flaskper servire successivamente le previsioni di deep learning fatte dal modello.

pip3 install pymagnitude flask

Lo aggiungeremo anche al nostro tracker di dipendenze con il seguente comando. Questo crea un file chiamato requirements.txte salva le nostre librerie Python in modo da poterle reinstallare in un secondo momento.

pip3 freeze > requirements.txt

Interrogazione del modello Word2Vec

Per iniziare, creeremo un file per gestire l'apertura e l'interrogazione delle parole incorporamenti.

touch model.py

Successivamente, aggiungeremo le seguenti righe model.pyper importare Magnitude.

from pymagnitude import Magnitude
vectors = Magnitude('GoogleNews-vectors-negative300.magnitude')

Possiamo giocare con il pymagnitudepacchetto e il modello di apprendimento profondo usando il querymetodo, fornendo un argomento per una parola.

cat_vector = vectors.query('cat')
print(cat_vector)

Per il nucleo della nostra API, definiremo una funzione per restituire la differenza di significato tra due parole. Questa è la spina dorsale per la maggior parte delle soluzioni di deep learning per cose come i motori di raccomandazione (ovvero mostrare contenuti con parole simili).

Possiamo giocare con questa funzione usando le funzioni similaritye most_similar .

print(vectors.similarity("cat", "dog"))
print(vectors.most_similar("cat", topn=100))

Implementiamo il calcolatore di somiglianza come segue. Questo metodo verrà chiamato dall'API Flask nella sezione successiva. Si noti che questa funzione restituisce un valore reale compreso tra 0 e 1.

def similarity(word1, word2):
    return vectors.similarity(word1, word2)

Creazione di un'API REST

Creeremo il nostro server in un file denominato service.pycon i seguenti contenuti. Importiamo flaske requestgestiamo le funzionalità del nostro server e importiamo il similaritymotore dal modulo che abbiamo scritto in precedenza.

from flask import Flask, request
from model import similarity

app = Flask(__name__)

@app.route("/", methods=['GET'])
def welcome():
    return "Welcome to our Machine Learning REST API!"

@app.route("/similarity", methods=['GET'])
def similarity_route():
    word1 = request.args.get("word1")
    word2 = request.args.get("word2")
    return str(similarity(word1, word2))

if __name__ == "__main__":
    app.run(port=8000, debug=True)

Il nostro server è piuttosto semplice, ma può essere facilmente esteso creando più percorsi utilizzando il @app.routedecoratore.

Effettuare chiamate API

Possiamo eseguire il nostro server Flask eseguendo i seguenti comandi per attivare il nostro ambiente virtuale, installare i nostri pacchetti ed eseguire il file Python associato.

source venv/bin/activate
pip3 install -r requirements.txt
python3 service.py

Il nostro server sarà disponibile all'indirizzo localhost:8000. Possiamo interrogare il nostro database localhost:8000/similarity?word1=cat&word2=doge visualizzare la risposta nel nostro browser o tramite un altro client AJAX.