Система мгновенно обрабатывает голос и текст и превосходит существующие технологии на 23% по оценке качества.
Мета-исследователи разработали новую систему искусственного интеллекта SEAMLESSM4T, способную выполнять переводы на 101 язык. Аванс, опубликованный в журнале Природаон превосходит предыдущие модели на 23% по оценкам лингвистической точности и способен распознавать более 100 языков. (Здесь полный текст – 2МБ).
SEAMLESSM4T вдохновлен вавилонской рыбой из книги. «Автостопом по Галактике»который переводит любой язык. Программа Меты распознает речь на 101 языке, переводит текст на 96 и генерирует переведенную речь на 36 языках с помощью синтетического голоса.
Кроме того, было доказано, что система на 50 % более эффективна в отношении фонового шума и изменений голоса по сравнению с предыдущими технологиями.
«Готовность к миру подчеркивает важность возможности общаться на языках, отличных от нашего родного языка, как по инструментальным (например, трудоустройству или учебе), так и по культурным (то есть, чтобы стать гражданином мира) причинам».говорится в исследовании.
Построенная на основе новой мультимодальной системы и общедоступных данных, система не только облегчает перевод между широким спектром языков, но и демонстрирует превосходную производительность по сравнению с существующими системами. В ходе тестирования он достиг на 8% и 23% более высоких оценок BLEU в задачах перевода речи в текст и речи в речь соответственно.
