Solos HD: Audiovisual recordings of musicians

Hola, me llamo Juan Montesinos y soy estudiante de doctorado en la Universidad Pompeu Fabra.
Pertenezco al Music Technology Group y al Image Processing and Computer Vision Group.

Como parte de mi doctorado, trabajo desarrollando algorítmos de “Inteligencia Artificial” (IA). En concreto, trabajo con instrumentos musicales puesto que tienen un sonido muy puro, apariencia similar y son de interés general y cultural. Como parte de mi proyecto de doctorado, estoy recopilando vídeos de músicos tocando instrumentos para ayudar a la comunidad científica.

Qué es la IA

La comunmente conocida Inteligencia Artificial son los algorítmos que están detrás de la mayoría de la tecnología de los últimos años. Ejemplos de ello son Siri, Alexa, los traductores de Google, pero incluso cosas tan cotidianas como los filtros de instragram, las fotazos que hacen los móviles, las recomendaciones en Netflix/ Spotify o las típicas app como faceswap. Es una tecnología en crecimiento que se empieza a utilizar en seguridad, los coches de Tesla o cosas tan diferentes como generar nuevos materiales o cómo organizar las entregas de Amazon.

¿Por qué este proyecto?

A día de hoy la mayoría de estos algorítmos requieren muchísimos datos para funcionar correctamente. Es algo que sólo esta al alcance de unas pocas universidades y empresas como Apple, facebook o Google. Mediante este proyecto pretendemos generar una “modesta” base de datos para que investigadores de todo el mundo puedan trabajar y mejorar la tecnología que existe en el mundillo de la música. Cualquier material grabado se licencia únicamente para ser usado en investigación.

¿Qué tendría que hacer?

Realmente poca cosa :) Nos gustaría poder grabar a músicos mientras tocan, con vídeo y audio en alta resolución para generar datos de calidad. Básicamente sería tocar piezas con las que te sientas cómodo/a (no tienen que salir perfectas, no pasa nada). El nivel de implicación depende de cada uno, puede ser 10 minutos o varias horas. Quedaría algo como esto
drawing

¿Qué instrumentos buscáis?

Básicamente estos (por seleccionar algunos) aunque si alguien estuviese super interesado en añadir algún otro sería genial.

inst

Y luego esto para que vale

Realmente, al ofrecer los datos al mundo, no se puede acotar las posibilidades. Básicamente esto permite encontrar correlaciones entre el vídeo y el audio, mejorando mucho la tecnología que existe a día de hoy. Algunas de las aplicaciones serían las siguientes:

  • Estimar partituras
  • Estimar audio corrupto: Imagina que estás tocando una pieza y alguien tose. Lo estropea todo. A partir del vídeo se puede restaurar el sonido más probable.
  • Separar sonidos: Imagina un videoclip de tu canción favorita. Quieres la voz acapella o el sonido de algún instrumento… Pues con la IA es posible conseguirlo. Mira este video de Javier Altozano, es mucho más descriptivo que todo este post.
  • Transformar sonidos: Imagina silvar o tocar algo y poder convertir esa melodía a flauta, o violín, o piano. Google AI (Youtube video) lo ha hecho posible.

¿Cómo participo?

Si vives en Zaragoza o alrededores y te interesa participar, manda un email a juanfelipe.montesinos@upf.edu