Un sacchetto di patatine scambiato per un’arma. Non è l’incipit di una distopia tecnologica, ma un episodio reale avvenuto in una scuola della contea di Baltimora, negli Stati Uniti. Qui, un sistema di sorveglianza basato su intelligenza artificiale ha segnalato come potenzialmente armato uno studente afroamericano. Nel giro di pochi minuti, la macchina della sicurezza si è attivata: intervento delle forze dell’ordine, manette ai polsi, perquisizione. Il risultato? Nessuna minaccia, solo uno snack tra le mani.

L’episodio, ripreso dalle body-cam degli agenti, non rappresenta una semplice anomalia tecnica. È piuttosto una lente attraverso cui osservare un fenomeno più ampio e meno visibile: l’affidamento crescente a sistemi automatizzati in contesti dove sono in gioco diritti fondamentali, libertà personali e dinamiche sociali complesse.

Quando la tecnologia promette più di quanto può mantenere

Per anni, l’intelligenza artificiale è stata raccontata come uno strumento capace di migliorare l’efficienza e ridurre l’errore umano. In particolare, i sistemi di riconoscimento visivo sono stati presentati come soluzioni affidabili per identificare minacce in tempo reale. Tuttavia, dietro questa narrazione si nasconde una realtà più articolata.

Gli algoritmi non “comprendono” ciò che osservano: analizzano schemi, confrontano dati, elaborano probabilità. Nel caso di Baltimora, il sistema ha interpretato un insieme di pixel come un’arma perché addestrato su dataset che probabilmente non includevano una varietà sufficiente di contesti. In altre parole, ha riconosciuto una forma familiare senza coglierne il significato.

Questa limitazione strutturale diventa critica quando la tecnologia viene impiegata in ambienti sensibili. In una scuola, come in un aeroporto o in una piazza pubblica, un errore non è solo un dato statistico: è un evento che coinvolge persone reali, con conseguenze tangibili sul piano psicologico, sociale e giuridico.

Il rischio invisibile dei pregiudizi incorporati

L’episodio solleva anche un’altra questione, meno evidente ma altrettanto rilevante: quella dei bias algoritmici. Numerose ricerche hanno evidenziato come i sistemi di riconoscimento visivo presentino tassi di errore più elevati nel riconoscere volti e comportamenti di persone appartenenti a minoranze etniche.

Il motivo è strutturale. Gli algoritmi apprendono dai dati che vengono loro forniti, e questi dati riflettono inevitabilmente le disuguaglianze e le distorsioni presenti nella società. Se un sistema è stato addestrato prevalentemente su immagini di soggetti caucasici o su contesti specifici, tenderà a commettere errori quando si trova di fronte a scenari diversi.

In questo senso, la tecnologia non è neutrale. Al contrario, può diventare un moltiplicatore di discriminazioni, rendendo sistemici errori che, in passato, erano riconducibili a singoli individui. Quando un algoritmo segnala come sospetto un comportamento innocuo, il rischio è che il pregiudizio venga percepito come oggettivo, proprio perché “certificato” da una macchina.

Chi risponde quando sbaglia la macchina?

Uno degli aspetti più critici riguarda la responsabilità. Quando un sistema automatizzato commette un errore che porta a un intervento delle forze dell’ordine, chi ne risponde? Il produttore del software? L’amministrazione che lo ha adottato? L’operatore che si è fidato del segnale?

La risposta, nella maggior parte dei casi, è tutt’altro che chiara. Le normative esistenti faticano a tenere il passo con l’evoluzione tecnologica, lasciando zone grigie che possono trasformarsi in veri e propri vuoti di tutela.

Nel contesto degli appalti pubblici, molti sistemi di sorveglianza “intelligente” vengono introdotti senza una valutazione approfondita dell’impatto sui diritti fondamentali. Mancano spesso protocolli di verifica indipendenti, audit tecnici e meccanismi di controllo efficaci. Le amministrazioni, attratte dalla promessa di innovazione, rischiano così di assumersi responsabilità significative senza esserne pienamente consapevoli.

Quando l’errore si traduce in un fermo ingiustificato o in una perquisizione, il confine tra malfunzionamento tecnologico e violazione dei diritti diventa estremamente sottile.

La scatola nera che decide senza spiegare

Un ulteriore elemento di criticità è rappresentato dalla scarsa trasparenza dei sistemi di intelligenza artificiale. Molti algoritmi operano come vere e proprie “scatole nere”: producono risultati senza offrire spiegazioni comprensibili sul processo decisionale che li ha generati.

Questo rende difficile, se non impossibile, contestare una decisione automatizzata. Nel caso dello studente di Baltimora, ricostruire con precisione le ragioni dell’errore è un’operazione complessa, anche per gli stessi sviluppatori.

L’opacità tecnologica entra così in tensione con uno dei principi fondamentali dello Stato di diritto: la possibilità di comprendere e contestare le decisioni che incidono sulla sfera individuale. Se un sistema pubblico agisce sulla base di logiche non verificabili, il rischio è quello di una progressiva erosione delle garanzie democratiche.

L’illusione di una fiducia senza condizioni

Nonostante questi limiti, l’adozione di sistemi basati su intelligenza artificiale continua a crescere, spesso spinta da esigenze di modernizzazione e da una narrazione che enfatizza i benefici senza soffermarsi sui rischi.

In molti casi, il personale chiamato a utilizzare queste tecnologie non riceve una formazione adeguata. L’algoritmo diventa così una sorta di autorità implicita, le cui decisioni vengono accettate senza un reale spirito critico.

Si crea, in questo modo, un paradosso: strumenti progettati per supportare il giudizio umano finiscono per sostituirlo, senza possederne le qualità essenziali. L’intelligenza artificiale, infatti, non è in grado di interpretare il contesto, di cogliere le sfumature o di esercitare empatia.

Oltre la tecnologia: una questione politica e culturale

Il caso di Baltimora non è solo una storia di tecnologia che fallisce. È anche il segnale di una trasformazione più profonda, che riguarda il modo in cui le società contemporanee delegano decisioni sempre più rilevanti a sistemi automatizzati.

Affidare a un algoritmo il compito di individuare una minaccia significa accettare che una parte del potere decisionale venga trasferita a un sistema che opera su base probabilistica, senza responsabilità diretta e senza comprensione del contesto.

La questione, quindi, non è se l’intelligenza artificiale sia utile o meno, ma come viene utilizzata, con quali garanzie e sotto quali forme di controllo. Senza un quadro normativo chiaro, senza trasparenza e senza una cultura critica diffusa, il rischio è che l’innovazione tecnologica si trasformi in un fattore di vulnerabilità.

E allora, forse, la domanda da porsi non è quanto siano intelligenti le macchine, ma quanto siamo consapevoli noi nel decidere quando e come utilizzarle.