Recopila una lista de reproducción, encuentra una pista grabada en tu cabeza, escribe una obra de teatro: lo que la inteligencia artificial puede hacer con la música
Miscelánea / / March 30, 2022
Reconocer composiciones
Se puede escuchar una pista genial en cualquier lugar: en un centro comercial, en una cafetería e incluso desde la ventana de un automóvil cercano, mientras está parado en un atasco de tráfico. Para no perderse la canción desconocida que le gusta, basta con encender la aplicación de reconocimiento. El nombre de la composición y el nombre del artista en ellos son dados por inteligencia artificial en segundos. Es cierto que detrás de un resultado tan rápido hay una preparación minuciosa: para aprender rápidamente la melodía, el programa primero debe recordarla. Para hacer esto, las redes neuronales se introducen en una enorme biblioteca de pistas y luego los algoritmos convierten el sonido en un espectrograma y lo descomponen en tiempo, frecuencia e intensidad.
Anatoly Starostin
Jefe del Servicio de Desarrollo Tecnológico de Yandex Media Services.
Un espectrograma es un gráfico. El tiempo se ubica a lo largo del eje horizontal, la frecuencia del sonido se ubica a lo largo del eje vertical y su intensidad en un momento fijo se expresa en color. Una señal baja está representada por una barra roja en la parte inferior y una señal alta en la parte superior. El resultado es una imagen que consta de franjas horizontales de colores. El análisis de tales circuitos ayuda a reconocer la música. Cuando se trabaja con espectrogramas, se utilizan los mismos enfoques de redes neuronales que en el análisis de imágenes.
Supongamos que una persona escucha una canción en la radio y quiere saber el nombre y el artista. El programa de reconocimiento construye un espectrograma del pasaje sonoro y lo envía a su biblioteca de pistas. Luego compara la "imagen" de la melodía deseada con los espectrogramas de otras composiciones y selecciona la coincidencia más precisa. Al mismo tiempo, la inteligencia artificial reconoce la melodía incluso a través de interferencias graves, como el ruido de la carretera o las reparaciones en un apartamento vecino.
Por cierto, la red neuronal no solo puede identificar al artista y el nombre de la pista grabada en la cabeza, sino también determinar aproximadamente su género. Para ello, se enseña a la inteligencia artificial a encontrar patrones en diferentes estilos musicales. Estas características específicas suelen ser inaccesibles para la vista y el oído humanos. Pero gracias al aprendizaje automático, es posible calcular géneros musicales a partir de imágenes de espectrograma.
Recomendar canciones
Parece que encontrar la "misma" pista que se adapte a tu estado de ánimo en miles de millones de canciones por tu cuenta es casi tan improbable como enamorarse a primera vista. Pero gracias a los algoritmos de recomendación, las coincidencias perfectas no ocurren con tanta frecuencia. Primero, la inteligencia artificial busca personas con gustos similares, y luego se conectan fórmulas estadísticas: el número de gustos, disgustos, reproducciones y saltos de una determinada composición.
Anatoly Starostin
La recomendación de canciones funciona de acuerdo con un esquema simple: si a Vasya le gustó la pista X, y luego Petya también la calificó, entonces cuando a Vasya le guste Y, Petya también debería recomendar la pista Y. Cuando el algoritmo necesita encontrar la siguiente canción, la fórmula se aplica a un conjunto de canciones potenciales. Los flotadores más adecuados a la parte superior.
El contenido "frío", que no se ve en las listas de reproducción del oyente masivo, se propaga más lentamente. Pero gracias a las redes neuronales, los artistas desconocidos y la música de nicho todavía tienen una pequeña posibilidad de parpadear en el flujo de recomendaciones. Si simplificamos todos los matices técnicos, podemos decir que en tales casos, la inteligencia artificial descubre con qué frecuencia un usuario específico escucha canciones con espectrogramas similares y periódicamente lo invita a familiarizarse con otras nuevas pistas
María Gu
Cantante.
A veces busco inspiración en las recomendaciones. Confío la elección de la composición al servicio de música, escucha las melodías, encuentra sonidos o textos interesantes. Así que realmente puedes enamorarte espontáneamente de una canción de un artista desconocido. Y otra línea que escuché accidentalmente puede impulsarme a crear mis propios poemas.
Las redes neuronales también ayudan a generar selecciones de música para hacer ejercicio, caminar o dormir. Los editores de contenido seleccionan pistas de referencia para los algoritmos y, en función de sus espectrogramas, la inteligencia artificial amplía las recomendaciones temáticas.
generar musica
Anteriormente, solo los compositores podían crear melodías. Ahora es posible sin la participación de músicos. En 2020, los Países Bajos organizaron el primer Concurso de canciones de Eurovisión para redes neuronales: el Concurso de canciones de IA. El australiano ganó colaboración inteligencia artificial con koalas, martines pescadores y demonios de tasmania. La canción estaba dedicada a los incendios forestales que asolaban el continente. Los sonidos de los animales se grabaron en muestras cortas, fragmentos de 1 a 2 segundos de duración. El algoritmo los combinó con los éxitos de todos los ganadores anteriores de Eurovisión real, después de lo cual ensamblaron las muestras en su propia melodía.
Este no es el único ejemplo de una exitosa unión creativa de programadores y redes neuronales. En 2019, en la clausura del Festival Internacional de las Artes de Invierno en Sochi, la Orquesta Estatal interpretó una pieza de 8 minutos. Fue escrito por el compositor Kuzma Bodrov a partir de fragmentos separados de melodías generadas por redes neuronales. Hoy en día, la creación de música es el área más prometedora para el desarrollo de la inteligencia artificial.
Anatoly Starostin
La inteligencia artificial puede crear música de tres maneras. El primero está relacionado con la construcción de "ladrillos" de sonido listos para usar: muestras. En este caso, el algoritmo simplemente los organiza en el orden correcto sobre varias pistas de audio y el arreglista electrónico mezcla la pista terminada. La segunda forma es generar notación musical. Es como escribir instrucciones para que el músico toque la obra terminada. Y la tercera forma es grabar la señal de audio "en bruto". En este caso, la propia red neuronal crea ondas sonoras similares, por ejemplo, a las de Mozart o los Beatles.
Por cierto, las redes neuronales también pueden escribir poesía para canciones. Hasta ahora, esas pistas suenan bastante extrañas, por lo que los compositores no deberían preocuparse por el desempleo. Además, la "mente de la computadora" está desprovista de sentimientos. No puede penetrar en el contexto emocional y transmitir las experiencias que obligaron a los autores de las obras a crear.
María Gu
La poesía y la música tratan principalmente sobre el alma, el mundo interior, las experiencias, los sentimientos y las emociones de las personas. Por ejemplo, la nueva canción "Don't Burn Out" es mi historia personal, pero también se trata de todos los que persiguen un sueño y tratan de comprenderse a sí mismos. No creo que la inteligencia artificial alguna vez reemplace a una persona viva en la industria de la música. Pero aquí puede obtener un tándem interesante "humano - red neuronal". Ya conocemos decenas de ejemplos en los que la inteligencia artificial ayudó a los compositores a crear melodías únicas. De hecho, esta es una nueva dirección en el mundo de la música que, estoy seguro, tendrá su propio oyente y audiencia en el futuro.
La inteligencia artificial hace que la creatividad sea accesible para todos, y la música ayuda a desarrollarla. Para comprender cómo estos dos polos convergen y se influyen mutuamente, puede "Números de lección” de Yandex - “Arte digital: música y TI”. Junto a los héroes de los cómics, los participantes aprenderán cómo las redes neuronales reconocen y generan pistas y qué tecnologías ayudan en el trabajo de los servicios musicales que conocemos. En la lección, los estudiantes intentarán adivinar la melodía por el espectrograma y compilarán una lista de reproducción con recomendaciones.
Quiero "Números de lección"
Cubrir: Willyam Bradberry / Shutterstock / Eric Isselee / Shutterstock / Ljupco Smokovski / Shutterstock / FOTOSPLASH / Shutterstock / Olga Selepina / Lifehacker