Un sistema di AI traduce i pensieri direttamente in discorso parlato

Un sistema di AI traduce i pensieri direttamente in discorso parlato

Una tecnologia che abbina sintetizzatori e intelligenza artificiale converte le onde cerebrali della
corteccia uditiva in parole comprensibili a un utente esterno. Il sogno a lungo termine è arrivare a fare altrettanto con i discorsi soltanto immaginati.

11 FEBBRAIO 2019 | ELISABETTA INTINI – focus.it

Un gruppo di neuroscienziati della Columbia University ha creato un’interfaccia capace di tradurre
quanto udito da un paziente in un discorso scandito da un sintetizzatore vocale, ben comprensibile a
un ascoltatore esterno. Si tratta di un passo importante che potrebbe aprire la strada a nuove forme
di comunicazione mediate da computer per le persone impossibilitate a parlare, perché affette da malattie neurodegenerative o reduci da lesioni cerebrali.

LA SVOLTA DELL’AI. Lo studio, descritto su Scientific Reports, è stato possibile grazie a un sistema
di intelligenza artificiale che ha imparato a riconoscere i tratti ricorrenti delle onde cerebrali e
a tradurle in parola. Ogni volta che parliamo o immaginiamo di parlare, infatti, il cervello produce
schemi caratteristici di onde cerebrali, e lo stesso succede quando ascoltiamo qualcuno che parla, o immaginiamo di ascoltare.

Finora i tentativi di decodificare le onde cerebrali si basavano sull’analisi computerizzata di
spettrogrammi – le rappresentazioni grafiche delle frequenze sonore – ma i risultati lasciavano a
desiderare. Nima Mesgarani, primo autore dello studio, ha pensato invece di utilizzare un vocoder,
un sistema che produce linguaggio parlato dopo essersi “istruito” su registrazioni di persone che
parlano. «È la stessa tecnologia utilizzata da Amazon Echo e da Siri per fornire risposte verbali alle nostre domande», spiega.

DALL’ASCOLTO ALLA PAROLA. Per addestrare il vocoder, Mesgarani ha collaborato con un neurochirurgo
che trattava pazienti epilettici, coinvolti in interventi di routine. Gli elettrodi impiantati nel
cervello di questi pazienti a scopo terapeutico hanno anche permesso di registrare la loro attività cerebrale mentre ascoltavano brevi storie narrate da quattro diversi lettori.

A questo punto, quando l’algoritmo del vocoder era ormai sufficientemente “allenato”, gli stessi
pazienti hanno ascoltato uno speaker che pronunciava i numeri da 0 a 9. Il vocoder ha analizzato le
onde cerebrali prodotte nella loro corteccia uditiva, e le ha usate per tradurre in parola quei
pensieri che aveva “ascoltato” . Il suono prodotto è stato analizzato e ripulito da un sistema di
reti neurali, un tipo di AI che imita struttura e funzionalità dei neuroni nel cervello umano.
Ascoltatori esterni hanno riconosciuto i numeri elencati dalla voce robotica nel 75% dei casi, la prova che il segnale era ben riconoscibile.

UN PONTE PER COMUNICARE. I prossimi passi saranno testare il sistema con frasi più articolate, ma
soprattutto provarlo con i segnali cerebrali emessi quando una persona parla, prova a parlare o
immagina di parlare. Se funzionasse, si potrebbe immaginare che in futuro – si parla di un decennio
almeno -, un impianto (invasivo) a base di elettrodi cerebrali simile a quello di alcuni pazienti
epilettici permetterà di tradurre i pensieri del paziente direttamente in parole.
https://www.nature.com/articles/s41598-018-37359-z#Abs1