Intervista | Luca Pagan al REF23

Luca Pagan, giovane artista che ha ricevuto una menzione speciale della terza edizione del Re:Humanism Prize 2023, ha portato al Romaeuropa Festival, l’8 ottobre scorso, il suo progetto di body-architecture “Retraining Bodies”.

Con questo lavoro il suo stesso corpo è diventato uno spazio sonoro dinamico, perché l’artista ha creato un “eso-scheletro” costituito da una rete di sensori tra loro collegati mediante cavi sottili che ricoprono busto, braccia e mani e ne intercettano gli impulsi muscolari.

“Attraverso l’uso di architetture corporee per il rilevamento del movimento del corpo“, così spiega l’artista nello statement del suo lavoro, “la macchina impara ad associare l’espressività gestuale alla produzione di forme sonore. Le reti neurali elaborano i dati dei sensori, svolgendo un duplice ruolo: insegnare alla macchina le associazioni espressive corpo-suono e riconoscere gli stati comportamentali che influenzano il software e il suono. Quando incontra nuovi gesti, distinti dal precedente addestramento, il software produce risultati sonori inaspettati, rendendo la macchina ‘creativa’ di per sé. In questo modo la macchina influenza l’uomo nell’esecuzione di nuovi movimenti”.

Il corpo di Luca Pagan si contrae, si flette, si estende generando suoni acquatici o magmatici che variano di intensità profondità secondo la potenza isomorfica prodotta dalla tensione di muscoli agonisti e antagonisti: quando si estende “suona” una cascata, quando si flette il suono implode.

Sarà Luca Pagan stesso a raccontare, nel dialogo che segue, delle nuove geografie che prendono forma nell’incontro-uomo macchina. Ne emerge con forza anche la componente emotiva dell’artista così come si esprime nella scelta dell’associazione di suoni e gesti.

Pietro Guerrini

Puoi raccontarci di più sulla scelta del suono e sulle tipologie di suono?

La scelta dei suoni è l’unico spazio totalmente artistico e personale del progetto. Preferisco non applicare un criterio scientiﬁco sulla scelta dei suoni, altrimenti tutto il progetto rischierebbe di diventare un «esperimento scientiﬁco». Scelgo i suoni da associare ai gesti in base alle sensazioni che quel suono mi restituisce. A volte sono frutto di cosa quel suono produce all’interno della mia memoria. Per esempio i suoni delle onde del mare, che associo a gesti molto chiusi con il corpo, mi riportano nella mia dimensione legata all’infanzia trascorsa a Venezia, quasi se quei suoni potessero proteggermi e rassicurami. Altri suoni invece fanno rifermento ad opere letterarie o ad altre references che in qualche modo mi hanno inﬂuenzato. Un esempio in questo caso sono i suoni di sgretolamento del cemento, una tipologia di suono molto aggressivo che associo a movimenti energici: l’origine dell’associazione nasce dal libro Il Condominio di Ballard, in cui parla delle città come prigioni di cemento che imprigionano la società. Quindi l’idea di utilizzare questo suono per movimenti ad alta tensione muscolare diventa per me un modo espressivo come se dovessi distruggere queste «gabbie di cemento» e cercare la libertà. Generalmente, appunto, cerco di costruire una sorta di mio vocabolario di suoni e signiﬁcati.

Nello stabilire il rapporto uomo-macchina delle tue macchine corporee si può parlare di empatia?

In Muli-Node Shell più che empatia, il termine più corretto secondo me è simbiosi. Questo perché c’è un feedback nei processi di apprendimento tra me e la macchina. Mi spiego meglio. Il sistema di associazione movimento-suono è basato su algoritmi di intelligenza artiﬁciale che svolgono una duplice funzione. In una prima fase sono io ad insegnare alle reti neurali la mia soggettiva espressività nella descrizione di un suono attraverso il movimento del corpo. In questa fase la macchina impara le associazioni tra il mio movimento e la produzione di un suono. La cosa interessante è quando la macchina riceve dei nuovi dati gestuali differenti da quelli insegnati in precedenza e, poiché l’algoritmo è basato su un principio di interpolazioni di valori, il software mi restituisce risultati sonori inaspettati. Questi nuovi suoni inﬂuenzano la percezione del mio movimento. Ed è qui che la macchina insegna qualcosa a me. In questa fase l’apprendimento è inverso. Attraverso il suono sono guidato e stimolato ad eseguire nuovi movimenti che mi portano a nuove percezioni del mio corpo. Per questo motivo penso che simbiosi sia il termine più adatto, perché è un rapporto dove ognuno impara qualcosa dall’altro, è uno scambio continuo.

Nella tua ricerca sulle tue architetture corporee e sul rapporto uomo-macchina fai riferimento anche ai neuroni specchio?

La mia ricerca è anche basata su un principio scientiﬁco, ovvero la percezione del suono, sul piano cognitivo, è un fenomeno che ha origine da un modello a specchio tra percezione/azione. Quello che succede quando ascoltiamo un suono è che attraverso il sistema sensoriale e il processing della nostra memoria, colleghiamo l’energia sonora ﬁsica ad un oggetto sonoro. Questo oggetto viene processato nel nostro sistema cognitivo dove attraversa due aree rispettivamente interconnesse tra loro: lo spazio esterno, dove sono presenti gli input sensoriali contenuti nell’ambiente, e lo spazio interno, dove sono presenti i sistemi percettivi del nostro movimento (detto anche apparato cinestetico). La cosa interessante è che all’interno di questi due spazi, noi processiamo il suono come traiettorie di movimento. Lo spazio interno, come output, dà origine al movimento, che può essere inibito a certi livelli. É cosi che la nostra percezione di un suono è collegala all’azione o simulata azione. Quando avevo cominciato ad approfondire la questione ero veramente felice, perché avevo capito che c’è un legame forte tra movimento e suono, non solo apparente e di espressività, ma è un legame che ha origine nella nostra natura biologica di essere umano.

Cosa ti ha insegnato l’Intelligenza Artiﬁciale ﬁno ad oggi? Il momento di scambio con la macchina durante la performance al Romaeuropa Festival ti ha rivelato delle sorprese?

L’Intelligenza Artiﬁciale mi sta insegnando nuovi modi di esprimermi e comunicare attraverso il suono. Il suono per me diventa una sorta di linguaggio. Chiaramente a differenza dei linguaggi “tradizionali” dove lo scopo è comunicare concetti, il suono piuttosto cerca di comunicare emozioni, sentimenti, stati d’animo, cose che il linguaggio tradizionale non sempre consegna con efﬁcacia. Questa possibilità comunicativa ed espressiva utilizzando molte tipologie di suono mi sta portando verso una nuova forma sensoriale. Ora posso esprimere certe condizioni non più con il linguaggio verbale ma direttamente con la musica. Nelle performance cerco sempre di esplorare l’efﬁcacia di questo sistema con il pubblico che è invitato ad interagire con me. Spesso noto che tante cose funzionano: suoni aggressivi portano tensione tra il pubblico, invece suoni ricchi di libertà melodica agiscono costruendo un dialogo.

A Romaeuropa è stato interessante presentare la ricerca e mostrare il processo di apprendimento alla base. Chiaramente laddove costruisco gesti che ho precedentemente insegnato alla macchina la prevedibilità è quasi totale. Quando invece mi allontano dai training allora succede l’improvvisazione: quasi sempre c’è qualcosa di nuovo da scoprire e questo è l’elemento che più mi affascina e che mi spinge a continuare a sviluppare questo progetto.

Come si sta evolvendo Multi-Node Shell in questa nuova fase?

Inizialmente Multi-Node Shell era nato come strumento musicale interattivo, dopo un primo periodo intenso di utilizzo è diventato una sorta di protesi, parte integrante del mio corpo. É un progetto in continua evoluzione sotto molteplici punti di vista. Sul piano tecnologico ora sto lavorando alla produzione delle schede elettroniche custom con il circuito direttamente stampato sulla board, cosi da poter riprodurlo anche su larga scala. Questa è la mia personale seconda grande rivoluzione tecnologica dopo aver imparato a programmare i sistemi IOT.

Sul piano dell’interattività sono molto soddisfatto ora che ho aggiornato e migliorato molte delle funzioni matematiche in relazione all’estetica sonora. Ogni volta che si progettano nuove funzioni vanno sempre comparate con l’intenzionalità musicale che queste funzioni ti posso fornire. Ecco, ora il livello di intenzionalità musicale è quasi perfetto, perfetto ma non ultimato. Questo signiﬁca che non sarà la versione deﬁnitiva, sicuramente uno stadio avanzato di interattività che mi permette di considerarlo perfetto come sistema.

Un altro punto fondamentale è l’impatto sociale che questa tecnologia può apportare. Sto lavorando molto in campo sanitario sulle tecnologie riabilitative: il mio desiderio è utilizzare questi devices anche per scopi di riabilitazione motoria e di assistenza per pazienti protesici o con disabilità. Il progetto Divergences è basato proprio su questo. Mi piacerebbe pensare che questi tools possano diventare d’aiuto o di supporto alle persone, e che in qualche modo mettano in discussione il concetto di “corpo normalizzato” verso una direzione di “corpo espanso”.

immagini (tutte): Luca Pagan, «Muli-Node Shell», lecture performativa, Romaeuropa Festival 2023