Machine Learning a rischio cracker

Nella vita di tutti i giorni dipendiamo dalle più differenti applicazioni di Machine Learning. Basti pensare ai sistemi di riconoscimento biometrico, oppure alle pubblicità personalizzate che appaiono sui social o anche alle stesse soluzioni antimalware e antispyware che si basano su modelli di Intelligenza Artificiale. Sempre più spesso succede di non capire se le chat di assistenza a cui ci rivolgiamo siano presidiate da persone oppure da bot e prima che ci venga autorizzato un prestito o un finanziamento sarà sempre l’Intelligenza Artificiale ad avere l’ultima parola. Da qualche tempo però i modelli di Machine Learning possono essere utilizzati non solo dalle aziende, ma anche da semplici appassionati grazie alla disponibilità di speciali librerie come SciKit, Numpy, TensorFlow, PyTorch, e CreateML che permettono di risolvere problemi complessi che solo qualche anno fa avrebbero richiesto l’intervento di un esperto. Come accade regolarmente nei settori in continua crescita, parallelamente agli avanzamenti tecnologici appaiono minacce e attacchi portati da pirati informatici che in molti casi riescono ad agire senza essere individuati, fin quando non è troppo tardi.

Machine Learning sotto attacco

Gli Adversarial Attack sono attacchi informatici compiuti ai danni dei vari modelli di Intelligenza Artificiale con l’obiettivo di ingannare il modello di Machine Learning, in modo da alterarne il risultato. Un esempio concreto è rappresentato dai Pixel Attack che funzionano applicando modifiche minime, anche di un solo pixel, come ha dimostrato l’abstract dei ricercatori Jiawei Su, Danilo Vasconcellos Vargas e Kouichi Sakurai. I risultati forniti dalle Reti Neurali Profonde, (Deep Neural Network) possono essere facilmente alterati modificando in maniera umanamente impercettibile il vettore iniziale con l’inserimento di un solo pixel alterato. In questo modo fino al 74% dei risultati viene completamente corrotto, fornendo risultati inaffidabili. Nell’abstract appena citato sono mostrati diversi esempi di immagini modificate in un solo pixel che una volta analizzati dai sistemi di Machine Learning producono risultati completamente differenti. In un caso, come riferito dal Washington Post, è bastato modificare un solo pixel di un’immagine per alterare complessi modelli di compravendita azionaria con risultati disastrosi.

Data Poisoning

La modalità di attacco Adversarial si fonda sui classici sistemi basati su algoritmi come quelli di data poisoning (inquinamento dei dati) e inference attack. Solo che in questo caso l’attaccante sceglie di colpire la modalità di archiviazione e di distribuzione dei modelli. Anche se i modelli di Machine Learning vengono percepiti come una tecnologia talmente evoluta da essere difficilmente analizzabile da un non addetto ai lavori, in realtà vengono utilizzate le stesse modalità in uso con normali software con tanto di ricerca di vulnerabilità che possano essere sfruttate dall’attaccante. È questo il caso del formato di archiviazione Pickle che viene normalmente utilizzato nel linguaggio di programmazione Python. Questo formato viene usato anche per i modelli di Machine Learning e permette a un’attaccante di eseguire del codice malevolo utilizzando uno strumento Open Source chiamato Fickling, come è ben noto alla community di sicurezza internazionale.