a Veus

Un projecte de cor virtual de la UOC

a veus loc. adv. Amb polifonia, d’una manera polifònica.

DIEC2

Gravacions – Base de dades: 

Per entrenar un model capaç de generar una veu sintètica es necessita una base de dades. El model aprèn les característiques sonores contingudes a la base, per això hem enregistrat les veus dels participants del cor cantant diverses cançons amb diferents tessitures, intencions i intensitats. 

Per preparar aquesta base de dades també cal editar les gravacions i “netejar” tots els sons indesitjats, o que puguin afectar la base de dades. 

Molts dels conjunts de dades que es fan servir massivament per entrenar models d’intel·ligència artificial tenen el problema que no sabem quina és la font (moltes vegades això no es fa públic), i si s’ha fet amb el consentiment de qui ha participat. Per això per aquest projecte és tan important tenir una base de dades pròpies encara que és una base de dades petita, a més que la sonoritat és realment de les persones que han participat, encara que això pugui generar més complexitats a l’hora d’entrenar el sistema. 

La base de dades del projecte conté gravacions de sopranos, contralts, tenors i baixos que han cantat cançons en català i llatí.

Entrenament: 

L’entrenament és el procés de presentar les dades a l’algoritme, pera que aprengui totes les característiques del so i les pugui convertir a allò que anomenem *Model*. Aquest és un procés que es fa enterament a l’ordinador i necessita temps de processament. 

Les grans companyies d’intel·ligència artificial que ofereixen serveis en temps real fan servir molts recursos. A més, quan fem servir els models les nostres dades es recol·lecten i s’emmagatzemen al núvol on no és possible saber certament l’ús de la informació. En aquest projecte hem optat per un algoritme que s’entrena fora de línia, és a dir que tot el càlcul es realitza en un ordinador local, no es penja en cap servidor.

Model: 

Un model és el resultat d’aquest entrenament, contingut en arxiu que conté totes les característiques de la nostra base de dades, però no té cap resultat sonor encara.
Aquest model és capaç de convertir el timbre de qualsevol veu en el timbre de les veus amb què l’hem entrenat. Però no pot produir nous sons per si mateix, no és capaç de pensar o de crear, necessita un input, o en altres paraules, una veu cantada que pugui replicar amb la sonoritat que ha après.

Per aquest projecte hem fet entrenaments amb cada veu per separat i un amb totes les veus juntes, Amb aquests models es poden fer diferents configuracions i experimentar activant-los amb diferents inputs:

- Model 1A: Sopranos - Llatí
- Model 1B: Sopranos - Català
- Model 2A: Contralts - Llatí  
- Model 2B: Contralts - Català
- Model 3A: Veu masculina - Llatí
- Model 3B: Veu masculina - Català
- Model 4: Veus femenines
- Model 5: Veus masculines
- Model 6: Totes les veus juntes. 

Proves:

Arranjament del Gaudeamus Igitur:

El compositor Carles Prat ha sigut l’encarregat de fer l’arranjament del Gaudeamus per aquesta edició. És a dir que ha generat una partitura, amb 8 veus diferents. Aquesta partitura necessita ser llegida, interpretada per algú per a que el model la pugui transformar. 

Hi ha altres eines que fan possible la transformació de partitures a so de manera sintètica, pero per aquest arranjament volem cantants que serveixin d’intèrprets per al model. 

Versió web:

Una altra sortida del projecte és donar la possibilitat a la comunitat de la UOC i al públic general, d’activar els models amb la seva veu pròpia. 

Crèdits del projecte:

Cor aVeus de la UOC
Lina Bautista, professora col·laboradora i doctoranda
Raquel Buil, professora col·laboradora i alumni
Mònica Falqués, personal de gestió
Mariona Fernández, estudiant i alumni
Mariona Ferret, professora col·laboradora
Eulàlia Hernández, professora i investigadora
Josep Maria Marco, professor i investigador
Eduard Masdeu, professor i investigador
Àgueda Mercadal, personal de gestió i alumni
Ainhoa Rodríguez, alumni i extreballadora
Carlos Rodríguez, estudiant
Mercè Romagosa, tutora i alumni
Dylan Suriñach, alumni
Lídia Torra, estudiant
Julià Vilar, extreballador
Jon Villate, estudiant

Carles Prat, director del cor
Anna Ponces, directora artística

Equip del projecte

Direcció del projecte
Lluís Rius, Àrea de Cultura

Direcció acadèmica i ideació
Irma Vilà, professora dels Estudis d’Informàtica, Multimèdia i Telecomunicació i investigadora del grup de recerca DARTS

Desenvolupament, disseny d’àudio i entrenament de la IA
Col·lectiu Axolot

Direcció artística
Anna Ponces

Direcció del cor i arranjament de la nova versió de Gaudeamus igitur
Carles Prat

Cap de projecte
Gemma Ustrell, Àrea de Cultura

Suport de projecte
Cristina Rodríguez i Sara Biondo, Àrea de Cultura

Estudiant en pràctiques
Olga Soria, Àrea de Cultura

Recerca
Irma Vilà, professora dels Estudis d’Informàtica, Multimèdia i Telecomunicació i investigadora del grup de recerca DARTS
Enric Mor, professor dels Estudis d’Informàtica, Multimèdia i Telecomunicació i investigadora del grup de recerca DARTS
Eduard Masdéu, professor dels Estudis de Psicologia i Ciències de l’Educació i investigador del grup de recerca GREDU

Tècnica de l’Audiovisual and Sound Lab
Ainhoa García

Equip audiovisual
Producció
Albert Grinyó, Àrea de Comunicació

Realització
White Horse

Edició
Karavanfilms SL

Amb la col·laboració de
Maria Arnal

Amb el suport de
Efraín Foglia, coordinador científic de l’Audiovisual and Sound Lab
Àrea de Comunicació
Oficina de Coordinació d’Activitats i Protocol
Àrea Gabinet de Gerència
Assessoria Jurídica