В июне Сбербанк получил патент на технологию, которая позволяет создавать виртуальных ассистентов, обладающих не только голосом, но также визуальным обликом. Одним из пользователей Facebook в контексте данной новости был поднят интересный вопрос:

Сбер запатентовал это с целью показать, что «мы первые сделали это» (как имиджевый шаг), или с целью взимания платы, либо блокирования аналогичных проектов у последователей?

Пользователь Facebook

ICT.Moscow вместе с отраслевыми экспертами попытался разобраться, в чем заключается уникальность технологии, как и где она уже применяется и будет применяться в будущем, а также — насколько этот патент может ограничить возможности других разработчиков при создании виртуальных аватаров.

Предыстория и суть разработки

Работу над визуальным обликом для собственного искусственного интеллекта Сбербанк ведет как минимум с 2018 года. Именно тогда был представлен первый прототип такого аватара («робота присутствия») — «Ника».

Меньше чем через год состоялся еще один крупный анонс в этой области. В апреле 2019-го Сбербанк представил виртуальную телеведущую «Елену». С помощью нейросетей она имитировала речь, эмоции и манеру говорить реального человека. Насколько эффективно «Елена» справляется с работой телеведущей, Сбербанк продемонстрировал в нескольких полуминутных выпусках SberNews.

Новый патент, который Сбербанк получил всего через год с небольшим, в июне, описывает технологию создания подобных виртуальных аватаров. Если точнее — видеоряда с 3D-моделью головы и динамической маской — лицом. Нейросеть обрабатывает поступающий речевой сигнал и подстраивает под него анимацию лица. В описанной архитектуре технологии упоминаются две нейросети:

• одна синтезирует речь на основе написанного текста;
• вторая на основе речевого сигнала формирует мимику и изображение цифрового аватара.

Иллюстрация из патента Сбербанка

Риски и возможности для разработчиков

Сергей Шлыков, основатель и генеральный директор chatme.ai — интеллектуальной диалоговой платформы для создания чат-ботов — отмечает, что для производителей цифровых аватаров в этом патенте действительно могут содержаться определенные риски.

Сбербанк может в любой момент предъявить иск в рамках патентного законодательства. Ничего нового в том, как сделать голографического аватара, нет, все давно известно. Мы не видим никаких специфических ноу-хау в этом патенте. Теперь разработчикам нужно иметь это в виду, менять алгоритмы таким образом, чтобы это не совпадало с этим патентом.

Сергей Шлыков

основатель и генеральный директор chatme.ai

Эксперт считает, что на ИТ-рынке получение Сбербанком патента никак не отразится, и он продолжит органично развиваться, как и ранее. А выход «полноценной» «Елены», напротив, может дать рынку дополнительный стимул, поскольку сторонние разработчики будут активнее зарабатывать на создании навыков для нее.

Илья Флакс, вице-президент по AR/VR компании «ЛАНИТ-Интеграция», которая сейчас занимается разработками в области цифровых аватаров, отмечает, что на их работу появление такого патента на рынке ничего не изменит.

Технология сама по себе является интересной и перспективной, но наличие этого патента никак не влияет на работу «ЛАНИТ-Интеграции» в области создания цифровых аватаров. Мы используем принципиально иную технологию — вместо анимации текстуры лица используем анимацию геометрии лица. Этот подход предполагает отличный от технологии, запатентованной Сбербанком, технологический стек, а также обеспечивает более физически корректный результат, благодаря чему имеет меньше ограничений применения технологии.

Другое принципиальное отличие заключается в том, что технология, запатентованная Сбербанком, ограничивается созданием лицевых анимаций. Технология, применяемая для создания цифровых аватаров «ЛАНИТ», позволяет создавать физически корректные анимации всего тела персонажа: лица, туловища, конечностей, одежды, обуви и аксессуаров.

Илья Флакс

вице-президент по AR/VR компании «ЛАНИТ-Интеграция»

Иными словами, непреодолимой преграды у разработчиков не появилось. Некоторые компании, напротив, видят для себя новые потенциальные возможности. Например, на это рассчитывает Виктор Носко, основатель и CEO GraphGrail (разработчик чат-бота с генерацией эмоциональных ответов на естественном языке).

Нас, как компанию, данный патент Сбербанка пока никак не ограничивает. Мы занимаемся Conversational AI — правдоподобной генерацией эмоциональных ответов на естественном языке с помощью ИИ, для чего применяем нейросети архитектуры Transformer, о которых в патенте не говорится.

Мы думаем, что в ближайшее время можно будет наблюдать синергию технологий. Нам было бы интересно посмотреть на кейсы, когда текст, не содержащий никакой информации об интонации, озвучивается эмоционально. Именно здесь возникает новое качество, мы уйдем от синтетических голосов. Возникнут продукты, в которых мы сможем эмоционально влиять на робота и отслеживать его влияние на нас. Это открывает новый пласт этических вопросов и угроз дипфейков, но заниматься этим нужно как раз для того, чтобы понимать, как их нивелировать.

Виктор Носко

основатель и CEO GraphGrail, эксперт в сфере ИИ ООО «Аватар Машина»

Виктор напоминает, что рынок виртуальных аватаров пока очень молодой, и появления первых успешных кейсов внедрения качественных моделей может дать значительный толчок его развитию. Но для этого он должен больше походить на живого человека, то есть быть в том числе эмоциональным.

Эксперт по патентному анализу, старший научный сотрудник Института статистических исследований и экономики знаний НИУ ВШЭ Екатерина Стрельцова отмечает, что видела подобные решения в международной практике, и в целом соглашается с оптимистично настроенными представителями отрасли.

Буквально на днях обратила внимание на изобретение, связанное с управлением мимикой аватара, у Disney. Но я не специалист в области ИИ и не знаю, насколько похожи/непохожи эти изобретения с точки зрения метода, технологии. Если есть альтернативные технологии создания подобных решений (предполагаю, что их достаточно), то патент Сбербанка не заблокирует это направление и не навредит сильно организациям, которые работают в этой области.

Екатерина Стрельцова

старший научный сотрудник Института статистических исследований и экономики знаний НИУ ВШЭ

Аватары в мире: примеры и сферы применения

Виртуальные аватары, подобные «Елене» — явление сегодня уже не редкое. В патенте Сбербанка приводится несколько примеров подобных технологий. В том числе там упоминается опубликованный в 2012 году патент на анимацию лица цифрового аватара в реальном времени. Описанная технология также предполагает анализ речи для создания корректной анимации, причем — с определением эмоциональной составляющей.

В патенте Сбербанка также упоминается виртуальный ведущий новостного агентства «Синьхуа», представленный в 2018 году. В этом случае «3D-модель» уже была готова — в качестве прообраза использовалась внешность реального сотрудника агентства, а нейросеть была натренирована на синтезирование речи и мимики.

К перечисленным технологиям можно добавить проект цифрового аватара NEON, представленный корпорацией Samsung в начале 2020 года. На официальном сайте аватар описан как «новый вид жизни». Такое громкое маркетинговое название обосновано тем, что это полностью смоделированные цифровые сущности (то есть не только внешность, но и собственно искусственный интеллект), которые живут и обучаются в режиме реального времени наподобие человека.

Несмотря на то, что «Елена» и ведущий «Синьхуа» пока реализованы только в одной профессии — телеведущих, — перспектива применения цифровых аватаров намного шире. Об этом ICT.Moscow рассказала представитель ИТ-отрасли, для которой технология в будущем может быть наиболее востребованной, президент Ассоциации дополненной и виртуальной реальности AVRA Екатерина Филатова.

Интерактивные технологии позволяют все более достоверно визуализировать наше окружение. Виртуальные аватары могут становиться «лицом» бренда, как это сейчас происходит с привлечением звезд. Только виртуальный аватар дает гарантию, что он останется с брендом, не захочет гонорар, не потребует защиты авторских прав и др.

Вариантов использования технологии множество: телеведущий, блогер, герой рекламных роликов, консультант на сайте или в магазине. Использование таких виртуальных аватаров особенно актуально там, где коммуникация проводится по определенным правилам, скриптам: например, в продажах и консультациях пользователей. Использование аватаров может заменить часть схематичных операций, которые сейчас выполняют живые люди. Но пока это формат wow-эффекта и отличная возможность впечатлить пользователей инновационностью. А вот через несколько лет это уже может стать нормой в предоставлении услуг или позиционировании бренда.

Екатерина Филатова

президент Ассоциации дополненной и виртуальной реальности AVRA

Растущая конкуренция на российском рынке

Екатерина Стрельцова из НИУ ВШЭ также отметила, что, судя по патенту Сбербанка, корпорация пока не строит планов по продвижению своей технологии за пределами России.

Заявка пока подана только в России, то есть не по процедуре PCT (когда одна заявка затем распространяется сразу на несколько стран), что могло бы говорить об амбициозных планах Сбербанка по продвижению технологии на зарубежные рынки. 

Екатерина Стрельцова

старший научный сотрудник Института статистических исследований и экономики знаний НИУ ВШЭ

На российском же рынке, по мнению Екатерины Филатовой из Ассоциации AVRA, в ближайшее время конкуренцию Сбербанку смогут составить только крупные компании, хотя интерес к технологии вырастет у многих компаний.

Такие проекты от крупного игрока на рынке демонстрирует серьезность направления и его перспективы для бизнеса. Думаю, на технологию обратят внимание другие игроки рынка и попробуют использовать в своих бизнес-кейсах. А разработчикам будет проще общаться с потенциальными заказчиками, так как есть такой пример у Сбербанка. Но несмотря на наличие технических возможностей, создание виртуальных аватаров пока требует больших финансовых вложений и детальных проработок. Поэтому на ближайшие годы возможности применять их есть у крупных игроков, готовых на смелые эксперименты.

Екатерина Филатова

президент Ассоциации дополненной и виртуальной реальности AVRA

В Яндексе (разработчик голосового помощника «Алисы») отказались комментировать разработки в этом направлении и патент Сбербанка.

Mail.ru Group (разработчик «Маруси») на запрос ICT.Moscow не откликнулся. 14 июля компания представила сервис для создания виртуальных телеведущих на основе искусственного интеллекта.

В Сбербанке ICT.Moscow рассказали, что полученный патент — один из начальных шагов в сфере разработки технологий виртуальных аватаров, и поделились планами по дальнейшим разработкам. Среди них — в том числе и анимирование тела, о котором говорил Илья Флакс из «ЛАНИТ-Интеграции». 

На вопрос о возможном сотрудничестве с другими разработчиками в этой сфере в Сбербанке ответили, что «сфокусированы на развитии технологии, и, безусловно, изучают все доступные возможности открытого рынка».