Abbiamo incontrato Mattia Carretti, co-founder di fuse* (con Luca Camellini) e Matteo Salsi, che nella grande squadra di questo collettivo multidisciplinare è Designer e Creative Coder. Assieme abbiamo parlato di Onirica (), progetto avviato nel 2023 che nel giorno del nostro incontro (2 luglio 2025) andava in scena in una versione live sul palco di Videocittà, il festival romano ideato da Rutelli dedicato alla cultura digitale e da qualche anno ospitato nei suggestivi spazi di archeologia industriale del Gazometro di Roma.

In tutte le versioni di questa serie, Onirica () è entrata letteralmente nella dimensione del sogno attraverso l’impiego di algoritmi che restituiscono nelle forme più diverse dati relativi al sonno, in questo caso grazie alla collaborazione con due importanti dream banks: quella dell’Università di Bologna e quella della University of California Santa Cruz.

Dopo le versioni installative realizzate per INOTA Festival in Ungheria e la Fondazione Alberto Peruzzo a Padova, Onirica () è arrivata a Videocittà in una versione performativa live, in collaborazione con Diego Trotelli, coreografo del Centro Coreografico Nazionale Aterballetto.

Mattia Carretti e Matteo Salsi sono entrati nel merito di alcuni aspetti legati alla progettazione di Onirica () in tutte le sue diverse versioni, dal lavoro di selezione con i dati, alla restituzione di questi nelle diverse forme –  installativa e performativa – con l’intenzione di ricongiungere i dati alla dimensione intima e misteriosa del sogno, più di ogni altra cosa umana. Nel raccontare di alcune scelte cruciali, non in ultimo, sono entrati nel vivo della loro metodologia di progettazione in qualità di squadra multidisciplinare.

Elena Giulia Rossi: Vi chiedo subito di Onirica (), del progetto che avete ideato per Videocittà, ma anche di tutta la serie in progress nata per esplorare la dimensione del sogno e il suo incontro con le logiche algoritmiche.

Mattia Carretti ( co-founder di fuse*): Onirica () è un progetto nato dall’idea di portare assieme il mondo AI, attraverso tecniche di machine learning, con un’esperienza puramente umana, quale è quella del sogno. Abbiamo iniziato a lavorare a questo progetto effettivamente nel 2022 ma era frutto di una ricerca avviata molto prima, nel 2018, quando sperimentavamo con un sistema AI piuttosto rudimentale. Dopo, chiaramente, le possibilità espressive si sono evolute esponenzialmente con il progresso delle tecnologie.

Inizialmente l’esplorazione di alcune tecniche di analisi dati e della loro traduzione in immagini faceva parte di un processo di ricerca parallelo a questo. Non eravamo ancora a conoscenza dell’esistenza di queste due banche dati con cui poi abbiamo lavorato, quella dell’Università di Bologna e quella della University of California Santa Cruz. Quando le abbiamo scoperte, abbiamo pensato che questo materiale sui sogni organizzato in un dataset si sarebbe prestato benissimo per portare assieme realtà onirica ed esistenza artificiale.

Abbiamo avviato la progettazione inizialmente con Matteo per la parte visiva e poi con un team più esteso, come di solito facciamo nel nostro lavoro di squadra, portando assieme competenze diverse. Sono venute fuori diverse idee e diverse possibilità. Con INOTA Festival in Ungheria prima, e con la Fondazione Alberto Peruzzo (Padova) poi, abbiamo avuto la grande opportunità di avere uno spazio dove sperimentare.

Avere uno spazio a disposizione significa poter scegliere cosa è più adatto sulla base del contesto e ci ha aiutato molto a progredire con la ricerca. La prima versione è stata realizzata in una forma installativa, sia per Fondazione Alberto Peruzzo sia per INOTA Festival.

In queste passate occasioni abbiamo utilizzato le tecnologie a disposizione, per noi in quel momento adatte alla narrazione che intendevamo raccontare. Le sequenze di immagini si trasformavano una nell’altra, creando così un senso di allucinazione e di flusso di coscienza molto simile all’esperienza del sogno.

Successivamente, anche grazie all’evoluzione tecnologica e alla possibilità di generare queste immagini in tempo reale, abbiamo pensato che potesse essere interessante fare qualcosa dal vivo, recuperando un’idea che avevamo formulato in prima battuta, ovvero quella di lavorare con un danzatore. Poi tutto è successo in una concatenazione di eventi e di opportunità. Abbiamo così incontrato Diego Tortelli, coreografo del Centro Coreografico Nazionale Aterballetto, con cui già da tempo volevamo collaborare.

Come vi siete relazionati con queste banche dati? In cosa e dove i loro criteri di archiviazione hanno incontrato i vostri?

Matteo Salsi: La primissima cosa che abbiamo fatto era noi stessi provare a capire che cos’era questo dataset. Parliamo di 28 mila e più sogni. Era impossibile leggerli tutti. Oggi la tecnologia ci dà l’opportunità di sintetizzare queste informazioni visivamente; possiamo distribuire questi sogni in uno spazio tridimensionale ordinandoli per significato ed è letteralmente quello che abbiamo fatto: una nuvola di punti dove i sogni erano raggruppati per cluster tematici. Era possibile capire quali erano i temi più ricorrenti all’interno del dataset con una cognizione di causa maggiore rispetto a quella che può fornire una navigazione casuale dei dati.

Abbiamo così estrapolato temi ricorrenti, attraverso parole che ricorrono più frequentemente di altre. Ci siamo chiesti come poter restituire l’idea di una cosa così grande. È a questo punto che si è presentato il lavoro curatoriale. Siamo andati noi a collegare i punti e a tracciare una linea di una narrazione che non abbraccia l’intero dataset, piuttosto la storia che eravamo interessati noi a raccontare.

Prima avete accennato alla vostra metodologia di lavoro. Possiamo tornare su questo punto? Quando sono venuta nel vostro studio, ormai qualche anno fa, sono stata investita da una enorme energia con la presenza di tanti professionisti di formazione diversa, tutti interessati ad ascoltarsi gli uni con gli altri. Potete soffermarvi un pochino su questo aspetto legato alla progettazione?

Il nostro modo di lavorare in squadra è totalmente sinergico. Per quanto ci siano persone che si occupano di singole parti del progetto, c’è una continua contaminazione tra di noi. Spesso studiamo un tema, avviamo collaborazioni anche con scienziati, investiamo nella ricerca, per poter poi tirare fuori quante più idee ed esperienze possibili.

Come accade per molti dei nostri progetti, Onirica () è in continua evoluzione, ha preso forme diverse, più fisiche pensate per gallerie e musei, altre performative come quella pensata per Videocittà, altre ancora le continueremo ad esplorare in futuro. Questa è una modalità ricorrente del nostro modo di lavo rare.

Mi piacerebbe, a questo punto, entrare nel merito delle dimensioni sonora e musicale. Che ruolo hanno giocato nell’orchestrazione complessiva del lavoro e attraverso le varie versioni?

Mattia: Nella prima versione di Onirica (), quella installativa, volevamo lasciare più spazio alle parole.

Lavorando con i ricercatori molto spesso ci veniva detto che connotare emotivamente un racconto di un sogno poteva in qualche modo spostarne il significato. Ovviamente non siamo stati completamente neutri; siamo artisti. Allo stesso tempo abbiamo voluto cercare un equilibrio con l’aspetto scientifico. Inoltre, in questa prima versione il lavoro sulle voci è stato molto interessante. Volevamo avere voci diverse per ogni sogno; ciascuna doveva rappresentare la persona che sognava, una voce di un bambino, di una donna, di un uomo, di un adulto, di un anziano.

Inizialmente avevamo valutato la possibilità di realizzare le voci con attori veri. Poi abbiamo capito che era praticamente impossibile ottenere questa varietà, oltre ai costi molto alti di questo tipo di processo.

Così abbiamo utilizzato sistemi di generazione di voce artificiale. In fase di lavorazione ci siamo confrontati con diverse questioni: le voci artificiali hanno anche loro allucinazioni. Su dieci prove, una era buona. Alcune voci cambiavano il timbro, iniziavano a urlare, prendevano direzioni inaspettate:. Alla fine però ci siamo resi conto che, per tutte quelle prove riuscite con successo, la resa era veramente molto realistica ed efficace, molto migliore di quanto non lo fosse stato con attori veri.

Nella versione performativa abbiamo reintegrato un’atmosfera musicale molto connotata che avevamo escluso per la prima. Quindi, alcune idee di base, narrative, che abbiamo escluso nella prima versione le abbiamo poi riprese nelle successive.

Quale è il ritmo che scandisce la narrazione di Onirica () nelle sue varie versioni?

Mattia: Un ciclo di sonno completo, che comprende diverse fasi (non-REM e REM), dura in genere 90 minuti. Quindi, 90 minuti di sonno rappresentano un ciclo quasi completo e in una notte di otto ore il sonno attraversa circa 5 cicli, la prima fase di ogni ciclo era un sogno profondo, l’ultima fase è sempre un sogno REM .

Noi sapevamo in che fase del sonno sono emersi i sogni poi registrati nel dataset dell’Università di Bologna. I ricercatori svegliavano i pazienti in momenti molto precisi della notte, quando notavano una certa attività cerebrale in corso, tramite EEG e altri elettrodi connessi ai volontari. Questi parametri avevano la funzione di evidenziare ai ricercatori in quale fase del sonno si trova il soggetto in un determinato momento. Al risveglio, i volontari spiegavano quello che stavano sognando in quel momento al momento del risveglio, che veniva poi trascritto verbatim dai ricercatori.

Nella versione installativa di Onirica (), abbiamo letteralmente tenuto questa scansione del tempo: l’opera è suddivisa in cinque cicli, proprio come in una notte di sonno, mantenendo i sogni del profondo e nella fase del sonno profondo e i sogni REM nella fase REM, ripetendo ciclicamente questo pattern. L’idea era quella di rappresentare un viaggio nel spazio onirico e il suo risveglio.

Anche la performance è divisa in cinque capitoli. Ognuno di questi momenti racconta alcune specifiche tipologie di soglie. Per esempio, il primo capitolo racconta di sogni dove si è soli, il secondo di situazioni dove si incontrano altre persone, familiari, amici, eccetera.

Il terzo capitolo si confronta con gli incubi, il quarto con incontri con persone che non ci sono più e il quinto di risvegli nel sonno. In ciascuno di questi capitoli la musica indirizza molto l’aspetto emotivo. Le voci, in questo caso, sono state realizzate in maniera diversa rispetto all’installazione: sono state registrate tutte dalla stessa persona, da Matteo Amerena, parte del nostro team. Anche questa volta la combinazione tra voce e musica non è stata semplice da gestire. Sono ritmi che si devono intrecciare con il tutto e soprattutto con la danza.

In Onirica (), centrale è la coreografia di Diego Tortelli con il danzatore Hélias Dorvault. Come entra il corpo nella narrazione e nel sogno?

Mattia Carretti: Sicuramente nella versione live, la coreografia e la presenza del corpo aumentano esponenzialmente il livello di complessità di tutto. Nella performance si è scelto di dare al danzatore libertà artistica totale di movimento e di espressione. Poi sono state fatte certamente delle scelte coreografiche pensate sulla base della storia che si stava raccontando.

La coreografia ha seguito la storia e non è stata vincolata in nessun modo alla versione installativa. Inizialmente ci siamo chiesti perché avremmo dovuto mettere un corpo sul palco, cioè che cosa vogliamo raccontare con questo elemento in più.

Ed è stato interessante, secondo me, lo studio che è stato fatto con Diego Tortelli. A lui abbiamo chiesto di ragionare su due elementi fondamentali in relazione al comportamento del corpo nel sonno. Da una parte, sulle mioclonie notturne, quei movimenti involontari come capita quando hai la sensazione di cadere e ti svegli di soprassalto. Si tratta di piccoli disturbi del sonno. Tutti noi ne soffriamo in modo più o meno grave. Dall’altra invece abbiamo considerato il corpo per come questo è percepito all’interno del sogno, con le sue molteplici possibilità di movimento altrimenti impossibili nella realtà.

Abbiamo quindi lavorato coreograficamente su queste due dimensioni; poi Héliasha messo del suo nell’interpretare queste direzioni.

Musica, suono, danza e corpo sono componenti vitali e importantissime di questo progetto. Lo è anche la parte visiva e quella di prompt design che ha contribuito alla generazione delle immagini. Potete raccontarci di questo aspetto? Cosa significa e quali sono state le sfide?

Matteo: Il Prompt Design è stata certamente una sfida. Lo strumento di per sé è molto limitato. Spesso ci siamo trovati ad interpretare a nostra volta il racconto del sogno. Quello che ricevevamo dai dataset era un report testuale; la grandissima sfida era di tradurlo in una dimensione visivo-sonora e molto spesso i modelli di generazione delle immagini non portano ai risultati visivi che ti aspetteresti, quindi devi trovare delle strategie per ingannarli.

Ricordo un prompt dove c’erano questi bambini a forma di uova sul ponte di una nave e poi si tuffavano nell’acqua in mezzo a dei pesci. Il prompt era una convoluzione di uova nel mare con delle braccia e i bambini vestiti da uovo per carnevale. Il modello non era stato allenato a riconoscere questo immaginario. Quindi, spesso e volentieri, è stato necessario trovare una strategia per portare il modello dove volevamo noi.

Abbiamo lavorato con un image to image piuttosto che un text to image puro. Siamo partiti da un’immagine di base per vederla come una sorta di immagine di Rorschach per poi chiedere al modello di interpretarla. Questa è stata un po’ la chiave di impiego del modello per tutta la performance.

Mattia: È stata una vera e propria sfida riuscire ad avvicinarci a qualcosa che sentivamo essere giusto per il progetto. Spesso e volentieri le immagini non riuscivano bene, erano molto stereotipate.

Ti rendi conto di quanto questi modelli soffrano di molti bias, bias che noi stessi, esseri umani occidentali portiamo con noi, con la nostra cultura e il nostro ideale. Ci rendevamo conto che queste immagini, a primo impatto molto belle, erano in realtà troppo perfette, tutte uguali, mancava l’anima, non ci affascinavano tanto quanto poi ci hanno affascinato quando abbiamo provato un po’ alla volta in tanti modi ad hackerare il sistema, a modificarlo, a creare una nostra pipeline, a lavorare per tirar fuori qualcosa di più originale. Abbiamo imparato molte cose e ci siamo accorti che poteva essere un ottimo strumento. Così abbiamo anche pensato che poteva essere giusto fare divulgazione e condivisione di conoscenza con persone che sono anche giustamente intimorite da questo tipo di progresso, conoscendone e valutandone rischi e opportunità. Questo è quello che abbiamo cercato di fare alla Fondazione Peruzzo. Oltre all’installazione, abbiamo cercato di raccontare quello che abbiamo imparato durante tutto il processo.

Come vi siete relazionati con gli spazi e il contesto di Videocittà?

Matteo: Siamo molto legati a questo luogo perché nel 2022 abbiamo realizzato l’installazione Luna Somnium all’interno del Gazometro. È stata la prima installazione ad essere stata ospitata all’interno di quello spazio. È stata un’esperienza per noi estremamente importante. Al di là del progetto in sé, abbiamo capito che impatto l’arte può avere sulla comunità. Restituire il luogo alla comunità attraverso un progetto artistico è stato molto importante, e per noi molto emozionante.

Quindi abbiamo un legame con questo spazio che è diventato anche personale. Avere la possibilità di tornarci con un altro progetto è molto emozionante. Per quanto riguarda Onirica (), ci siamo trovati di fronte ad una situazione molto diversa da quella per la quale il progetto era stato pensato, ovvero per un teatro o uno spazio chiuso con luce e suono controllati. Qui sappiamo che siamo in un contesto all’aperto dove alcune componenti non sono del tutto controllabili.

Alla fine, la performance è andata estremamente bene, e siamo stati molto contenti del risultato nonostante appunto, come anticipato sopra, fossero una location e un contesto diversi dal solito, diversi da quello che ci immaginiamo per Onirica (). Questa performance è un’opera che, come probabilmente si è capito, ha una struttura e una narrazione ben precisa, con diversi ritmi e climax, ed è quindi strano che il pubblico possa arrivare e lasciare la platea a proprio piacimento. Al tempo stesso, nonostante questo, abbiamo ricevuto feedback estremamente positivi, e anche molto interessanti: più vediamo lo spettacolo in tour, più ci relazioniamo con il pubblico e più ci rendiamo conto che è un’opera che ha anche diversi momenti insoliti, quasi inquietanti. Proprio come nella dimensione onirica: questa successione di visioni, di immagini mentali, non può essere controllata e a volte ci ritroviamo a vivere momenti anche di estrema tristezza o paura, felicità o bizzarria – come essere sulle montagne russe. È proprio questo che volevamo suscitare negli spettatori, e siamo felici che la performance sia stata così tanto apprezzata.

Ovviamente, ringraziamo di cuore l’intero team del festival: Francesco Dobrovich, Michele Lotti, e l’intero, fantastico team tecnico con cui abbiamo lavorato.

immagini (all ):«Onirica ()», live at Videocittà, 2025

Onirica () è progetto di fuse* | Regia: Mattia Carretti | Produzione esecutiva: Mattia Carretti, Luca Camellini | Coreografia: Diego Tortelli | Performer: Hélias Salvador Dorvault | Musica e sound design: Riccardo Bazzoni | Responsabile del visual design: Matteo William Salsi | Sviluppo software: Matteo William Salsi, Alessandro Mintrone, Matteo Amerena | Selezione dei sogni: Alessandro Mintrone | Voci dei sogni: Matteo Amerena | Progettazione dei prompt: Alessandro Mintrone, Matteo William Salsi, Mattia Carretti, Matteo Amerena | Progettazione luci: Stefano Cane, Matteo Amerena | Direzione tecnica: Matteo Amerena | Ingegneria hardware: Matteo Amerena, Matteo William Salsi, Alessandro Mintrone | Comunicazione e copywriting: Virginia Bianchi | Assistenti di produzione: Filippo Aldovini, Virginia Bianchi, Martina Reggiani | Documentazione fotografica e video: Matteo Torsani, Emmanuele Coltellacci. Le immagini di Onirica () sono basate su una pipeline che integra la libreria Diffusers: state-of-the-art diffusion model sviluppata da Huggingface e OpenGL Shading Language (GLL). La performance è realizzata con MOCAP Perception Neuron di NOITOM.

Fondato nel 2007, fuse* è uno studio dedicato all’esplorazione del potenziale creativo delle tecnologie contemporanee e della loro profonda influenza sul modo in cui viviamo, pensiamo e ci relazioniamo con il mondo.

Guidato dai fondatori Mattia Carretti (1981) e Luca Camellini (1981), lo studio riunisce un gruppo multidisciplinare di artisti, architetti, ingegneri e designer che collaborano alla creazione di progetti innovativi, opere d’arte, spettacoli e mostre, dedicandosi al contempo alla ricerca e alla sperimentazione. Ispirati dall’osservazione dei fenomeni sociali e naturali e alimentati dalle scoperte scientifiche e dalla ricerca, i lavori di fuse* evolvono attraverso collaborazioni con specialisti e centri di ricerca, integrando conoscenze avanzate e modi di pensare diversi.

Noto per le installazioni su larga scala e le performance dal vivo, lo studio sperimenta costantemente nuove relazioni tra fisico, digitale, naturale e artificiale, esplorando una vasta gamma di strumenti, tra cui scultura, stampa, video, luce e suono. Visitate qui il sito dei fuse* per scoprire il profilo dello studio e tutta la squadra.

 

 

L'articolo Dentro al sogno. In dialogo con fuse* a Videocittà proviene da Arshake.