Meta* выпустила новый инструмент с открытым исходным кодом под названием AudioCraft. Он позволяет пользователям создавать музыку и звуки полностью с помощью генеративного ИИ.
AudioCraft состоит из трех моделей, каждая из которых занимается различными областями генерации звука:
- MusicGen позволяет создавать мелодии по текстовым подсказкам. Она была обучена на «20 000 часов музыки, принадлежащей Meta* или лицензированной специально для этой цели».
- AudioGen создаёт определённые звуки из текстовых подсказок, имитируя, к примеру, лай собак или шаги человека.
- EnCodec позволяет обрабатывать звуки, уменьшая количеством артефактов.
Компания позволила представителям СМИ прослушать некоторые образцы аудиозаписей, созданных с помощью AudioCraft. Генерируемый свист и шум сирен звучал довольно естественно, а вот звучание гитарных струн всё же казалось искусственными, отметили в The Verge.
Разработка Meta* не единственная в своём роде. Google ранее уже представила MusicLM, большую языковую модель, которая тоже генерирует звуки на основе текстовых подсказок.
Звукозаписывающие лейблы и артисты такие инновации не оценили. Многие из них уже высказались об опасностях ИИ, поскольку некоторые модели могут использовать для обучения материалы, защищённые авторским правом.
AudioCraft на GitHub →
*Деятельность Meta Platforms Inc. и принадлежащих ей социальных сетей Facebook и Instagram запрещена на территории РФ.
Обложка: Freepik