Introduzione alle Reti Neurali Artificiali e al Perceptron

Il perceptron partiziona i dati di input tracciando un confine decisionale lineare. Applichiamo una procedura simile con un altro algoritmo di apprendimento supervisionato, noto come classificatori di vettori di supporto, che abbiamo già trattato in una lezione precedente.

Consideriamo una serie di feature scalari in input, aggiungiamo un termine costante di bias e assegniamo pesi a ciascun input. Calcoliamo quindi una combinazione lineare di pesi e input. Infine, applichiamo una funzione di attivazione che assegna allo specifico insieme di input una classe di appartenenza.

Funzioni di attivazione per il Perceptron

In questo modello di reti neurali artificiali adottiamo una funzione gradino che restituisce uno tra due valori distinti (oppure tre nel caso della funzione Segno), in base al valore della combinazione lineare.

Scegliamo spesso come funzione gradino la funzione Heaviside oppure la funzione Segno.

La funzione Heaviside, dal nome di Oliver Heaviside, è la seguente:

\(\begin{eqnarray}h(z) = \begin{cases}
0 & \text{if $z < 0$} \\
1 & \text{if $z \geq 0$}
\end{cases}\end{eqnarray}\)

Restituiamo 0 quando la combinazione lineare z è minore di 0, altrimenti restituiamo 1.

La funzione Segno è definita come segue:

\(\begin{eqnarray}\text{sgn}(z) = \begin{cases}
-1 & \text{if $z < 0$} \\ 0 & \text{if $z = 0$} \\ 1 & \text{if $z > 0$}
\end{cases}\end{eqnarray}\)

Quindi restituiamo -1 se z è minore di 0, restituiamo 0 se z è uguale a 0, altrimenti restituiamo +1.

Algoritmo per il Perceptron

Applichiamo la seguente procedura matematica per classificare un insieme di dati di input:

1. Per un vettore di input x, con componenti \(x_i\) dove \(i \in \{1,\ldots,n\}\), calcoliamo il prodotto scalare tra x e il vettore dei pesi w per ottenere la somma ponderata \({\bf x}^T {\bf w}\).
2. Aggiungiamo il termine di distorsione b a questa somma ponderata per calcolare \(z = {\bf x}^T {\bf w} + b\).
3. Applichiamo la funzione gradino appropriata per determinare l’etichetta di classe degli input.

Quando usiamo la funzione di attivazione di Heaviside, possiamo riassumere l’algoritmo delle reti neurali artificiali con la seguente funzione:

\(\begin{eqnarray}
f(z) = \begin{cases}
1 & \text{if ${\bf x}^T {\bf w} + b > 0$} \\
0 & \text{otherwise}
\end{cases}
\end{eqnarray}\)

In pratica, se la somma pesata degli input (incluso il bias) supera lo zero, assegniamo l’etichetta 1; altrimenti assegniamo l’etichetta 0.

In alcuni manuali aggiungiamo il termine bias al vettore dei pesi w mediante un componente \(w_0\). Per farlo, inseriamo un componente \(x_0\) nel vettore di input, sempre impostato su uno: \(x_0=1\). Possiamo quindi riscrivere l’algoritmo come segue:

\(\begin{eqnarray}
f(z) = \begin{cases}
1 & \text{if ${\bf x}^T {\bf w} > 0$} \\
0 & \text{otherwise}
\end{cases}
\end{eqnarray}\)

Pur risultando più preciso, dobbiamo sempre tenere presente che il termine di bias rientra comunque nella somma pesata come uno dei suoi componenti.

Perché abbiamo bisogno di un termine bias?

A questo punto possiamo chiederci: perché includere un termine bias? Geometricamente, il confine decisionale lineare rappresenta una linea (o iperpiano) che divide la regione in due sottoregioni esclusive.

Se omettiamo il termine bias, costringiamo questa linea (o iperpiano) a passare per l’origine. Questo vincolo può compromettere gravemente le prestazioni predittive, oppure renderle inutili, se il confine decisionale reale non attraversa l’origine. Perciò includiamo sempre un termine bias per garantire flessibilità geometrica nel modello.

Conclusione

Anche se questo algoritmo di classificazione ci guida chiaramente nel classificare i dati di input, non ci dice come impostare correttamente i pesi e il bias affinché l’algoritmo funzioni in modo efficace.

E’ necessario addestrare i percettroni delle reti neurali artificiali per determinare l’insieme ottimale di pesi e distorsioni utili alla classificazione lineare. La procedura di addestramento prevede di impilare più percettroni insieme per costruire percettroni multistrato adatti sia a problemi di regressione che di classificazione.

Riferimenti

• [1] Goodfellow, I.J., Bengio, Y., Courville, A. (2016) Deep Learning, MIT Press
• [2] Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65, 386-408.
• [3] Géron, A. (2019) Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Ed., O’Reilly Media
• [4] Krizhevsky, A., Sutskever, I., Hinton, G. (2012) “ImageNet Classification with Deep Convolutional Neural Networks”, Advances in Neural Information Processing Systems 25 (NIPS 2012)