La nueva red neuronal Stable Audio genera música basada en una descripción de texto

Estabilidad AI, conocida principalmente por redes neuronales para generar imágenes (Difusión estable, Garabato estable y no solo), liberado Nueva red neuronal Stable Audio. Como sugiere el nombre, genera clips de audio.

Todo funciona de forma muy parecida a los generadores de imágenes basados ​​en descripciones de texto. El usuario especifica palabras clave (por ejemplo, "hip-hop melódico de baja fidelidad, melódico, 85 BPM" o “death metal con potentes riffs de guitarra y batería rápida”), la duración deseada y espera el resultado.

Usamos el mismo modelo que en Stable Diffusion como base, pero lo entrenamos en composiciones musicales en lugar de imágenes. En total, recibió unas 800.000 pistas del sitio de música AudioSparx, o unas 19.500 horas de sonidos diferentes.

Los creadores señalan que la característica principal de Stable Audio es la capacidad de generar composiciones de una duración determinada. Anteriormente, las redes neuronales solo funcionaban con una duración fija: si se entrenaban con clips de audio de 30 segundos, solo podían generar composiciones de 30 segundos. Para poder ajustar la duración de una pista, los desarrolladores tuvieron que cambiar el modelo y agregar metadatos para el inicio y el final de la composición.

Stable Audio se ofrece en tres modelos. La versión gratuita te permite generar no más de 20 canciones que duren hasta 45 segundos por mes. También hay una suscripción Profesional que te permite crear hasta 500 pistas de hasta 90 segundos de duración por $12 por mes (≈1200 rublos) y la opción Enterprise para empresas con la posibilidad de seleccionar el volumen de generación y el precio individualmente OK. No puedes utilizar la música generada con fines comerciales sin una suscripción paga.

Como ocurre con otras redes neuronales similares, Stable Audio está dirigida más a creadores de contenido que a músicos profesionales. Estas herramientas son adecuadas para crear rápidamente música de fondo para podcasts y vídeos cuando no se tiene el tiempo o el presupuesto para colaborar con un compositor. También puede reemplazar los sonidos originales si desea risas únicas o ruidos de multitud.

Puedes probar Stable Audio en el sitio web oficial. Deberá registrarse o iniciar sesión con una cuenta de Google. Al principio puede haber interrupciones en el acceso debido a la gran carga del servidor.

Audio estable →