Stable Audio Open: Novo Modelo de Texto para Áudio da Stability AI

Tecnologia Inteligência Artificial Áudio

A Stability AI lançou o Stable Audio Open, um modelo de texto para áudio com pesos abertos, treinado com dados de Creative Commons. Disponível no Hugging Face, o modelo permite uso não comercial e comercial limitado, gerando áudio estéreo de alta qualidade a 44.1kHz a partir de prompts de texto.

Create a corporate flat vector design illustration with a 2D linear perspective against a white, textureless backdrop. The image should depict a digital soundwave emanating from a text prompt on a computer, illustrating high-quality stereo audio's conversion from text. A computer represents the user interface for generating audio from text. A digital sound wave symbolizes the high-quality stereo audio output. The text prompt indicates the textual input converted into audio. Incorporate elements like GPUs in the background pointing to the model's accessibility with consumer GPUs, along with sound and music icons highlighting its applications in sound and music design.

Imagem gerada utilizando Dall-E 3

O Stable Audio Open é um modelo de texto para áudio desenvolvido pela Stability AI, utilizando dados licenciados sob Creative Commons. Ele pode gerar áudio estéreo de alta qualidade a 44.1kHz a partir de prompts de texto e está disponível para uso em GPUs de consumo, tornando-o acessível para fins acadêmicos e artísticos.

Um autoencoder que comprime formas de onda em uma sequência gerenciável.
Um embutimento de texto baseado em T5 para condicionamento de texto.
Um modelo de difusão baseado em transformador (DiT) operando no espaço latente do autoencoder.

O modelo foi treinado com quase 500.000 gravações licenciadas sob CC-0, CC-BY ou CC-Sampling+, provenientes de Freesound e Free Music Archive. A curadoria do conteúdo garantiu a exclusão de material protegido por direitos autorais, utilizando ferramentas como o PANNs e a Audible Magic.

- Design de som: efeitos sonoros e foley. - Criação de amostras: loops de bateria e amostras musicais. - Aplicações comerciais e de marketing: branding de áudio e sons de marca. - Projetos acadêmicos: pesquisa em síntese de áudio e musicologia.

O Stable Audio Open pode ser ajustado para personalizar a geração de áudio, adaptando-se às necessidades específicas de diferentes indústrias e projetos criativos, com treinamento local possível em GPUs A6000.

A introdução do Stable Audio Open representa um avanço significativo na IA de áudio de código aberto. Com sua capacidade de gerar áudio estéreo de alta qualidade e acessibilidade para pesquisadores e artistas, o modelo promete expandir as fronteiras do que é possível na geração de áudio com IA.