ElevenLabs представила SFX v3 — новую модель для генерации звуковых эффектов по текстовому описанию. Она умеет создавать сложные звуковые сцены, в которых несколько событий происходят в заданной последовательности.
Компания улучшила качество звука, генерацию музыкальных элементов и голосов. Модель также точнее следует промту: учитывает отдельные детали и воспроизводит звуки в указанном порядке. Подробнее в материале Postium.
Что умеет нейросеть ElevenLabs SFX v3
Главное изменение — генерация нескольких связанных звуковых событий по одному запросу. Пользователю достаточно описать всю сцену, а нейросеть создаст её звуковое сопровождение.
Например, в демонстрации ElevenLabs модель воспроизводит шум ликующей толпы, звук падающего мяча, а затем недовольный гул и свист зрителей. Все три события описаны в одном промте.
В другом примере компания показывает спортивную сцену с голосом судьи. SFX v3 генерирует звуки окружения и голосовые элементы, учитывая детали описания.
По заявлению ElevenLabs, новая версия лучше справляется с многоступенчатыми запросами, точнее передаёт отдельные звуки и создаёт более насыщенное аудио. Это пригодится для озвучивания видео, игр, анимации и коротких роликов.
Где доступна SFX v3 и как пользоваться
Модель уже доступна в ElevenCreative: в разделах Flows, Sound Effects, Studio и музыкальном редакторе. Также она доступна в мобильном приложении ElevenLabs и через API.
Для генерации откройте Sound Effects, опишите нужные звуки и их последовательность. Можно задать длительность, настроить точность следования промту и включить зацикливание. Максимальная продолжительность одной генерации — 30 секунд.
Также ранее ElevenLabs представила Eleven Realtime — линейку моделей для голосовых ИИ-агентов. Они поддерживают разговор в реальном времени, понимают перебивания, а старшая модель начинает отвечать в среднем через 0,57 секунды.