Addestrare le reti neurali con Scikit-Learn e TensorFlow

In questa lezione spieghiamo come addestrare le reti neurali artificiali e i perceptron, introdotti nel corso base sul deep learning. Dimostriamo che il perceptron classifica i dati di input con un confine decisionale lineare.

Finora abbiamo rimandato la spiegazione su come calcoliamo i parametri che determinano questo confine. In questa lezione impariamo a stimare tali parametri attraverso l’allenamento del perceptron.

Descriviamo la procedura per addestrare le reti neurali i perceptron e analizziamo la somiglianza con un approccio molto usato nel deep learning: la discesa stocastica del gradiente. Presentiamo poi il codice Python che esegue l’addestramento con la libreria Scikit-Learn. Infine confrontiamo il codice equivalente in TensorFlow per evidenziare le differenze.

Addestrare le reti neurali

Dopo aver ricavato i pesi e bias, classifichiamo facilmente nuovi dati di input calcolando il prodotto scalare tra i pesi e i componenti dell’input, seguito dalla funzione di attivazione a gradino.

Non abbiamo ancora definito come impostiamo pesi e bias prima di classificare. In questo interviene la regola di apprendimento del perceptron, una procedura di addestramento efficace.

Applichiamo la regola considerando l’errore di previsione che si verifica quando il perceptron elabora un dato etichettato. In particolare, rafforziamo i pesi che riducono tale errore.

Ogni volta che forniamo un’istanza al perceptron, otteniamo una previsione. Se la classificazione non coincide con l’etichetta corretta, modifichiamo i pesi per favorire una previsione corretta.

Procediamo aggiornando i pesi in modo iterativo ogni volta che introduciamo nuovi dati, fino a raggiungere una soluzione ottimale.

\(\begin{eqnarray}
w_i^{n+1} = w_i^n + \nu (y – \hat{y}) x_i
\end{eqnarray}\)

Dove:

• \(w_i^{n}\) indica l’i-esimo peso al passo n
• \(x_i\) rappresenta l’i-esimo componente dell’input corrente
• \(y\) è l’etichetta corretta
• \(\hat{y}\) è l’etichetta prevista
• \(\nu\) è il tasso di apprendimento

Analizziamo ora la formula per comprenderne il funzionamento. Calcoliamo i nuovi pesi \(w_i^{n+1}\) aggiungendo ai pesi precedenti \(w_i^{n}\) un termine \(\nu (y – \hat{y}) x_i\).

Poiché questo termine contiene la differenza tra valore previsto e valore reale, aumenta se cresce tale differenza. In pratica, modifichiamo i pesi in proporzione all’errore: più la previsione è errata, maggiore è la correzione.

Usiamo il tasso di apprendimento \(\nu\) per regolare l’entità della correzione. Se impostiamo un \(\nu\) basso, i pesi variano poco anche con errori grandi. Se invece scegliamo un \(\nu\) alto, otteniamo modifiche più marcate anche con errori minimi.

Il tasso di apprendimento rappresenta un iperparametro, perciò dobbiamo selezionarlo con cura. Approfondiamo l’ottimizzazione degli iperparametri in lezioni successive, dove esploriamo architetture neurali più complesse.

Infine, il termine di aggiornamento è moltiplicato per \(x_i\). Se l’input ha un valore elevato, anche la variazione del peso sarà maggiore, a parità degli altri fattori.

Procediamo ad addestrare le reti neurali e i perceptron usando due librerie Python: Scikit-Learn e TensorFlow.

Nella lezione precedente abbiamo descritto come installare TensorFlow su Ubuntu con GPU: ci sarà utile per eseguire il codice che segue.

Implementazione del codice

Per addestrare le reti neurali utilizziamo un dataset sul diabete fornito dal National Institute of Diabetes and Digestive and Kidney Diseases[4] per valutare l’efficacia del perceptron nella classificazione.

Il dataset contiene 768 record, ciascuno con otto misurazioni diagnostiche e un’etichetta che indica se il paziente presenta diabete. Tutti i pazienti sono donne di almeno 21 anni appartenenti alla popolazione Pima.

Scarichiamo il file CSV da questo link su Kaggle. Per utilizzarlo correttamente, salviamo il file nella stessa cartella del codice che mostriamo di seguito.

Non analizziamo nel dettaglio le caratteristiche del dataset. Lo impieghiamo soltanto per illustrare l’algoritmo di addestramento. Se desideri approfondire le misurazioni diagnostiche e i metodi di raccolta, consulta [4] per ulteriori informazioni.

Scikit-Learn

Nel file perc_diabetes_sklearn.py impieghiamo Pandas e Scikit-Learn per caricare il dataset e costruire un modello di classificazione binaria con il perceptron.

Come primo passo, usiamo read_csv di Pandas per caricare il file CSV in un DataFrame. Convertiamo poi il DataFrame in una matrice NumPy tramite values, rendendolo compatibile con Scikit-Learn.

Definiamo la matrice delle feature X come le prime otto colonne (forma (768, 8)). Il vettore degli output y è costituito dall’ultima colonna: 0 indica assenza di diabete, 1 la presenza.

Inizializziamo il modello perceptron con un seme casuale per ottenere risultati riproducibili. Alleniamo poi il modello con la regola di apprendimento del perceptron usando il metodo fit.

Infine calcoliamo la precisione media sulle stesse istanze del campione.