Яндекс перевел свой интернет-поиск на новую технологию анализа текста, базирующуюся на нейросетях-трансформерах. В компании отмечают, что это наиболее значимое событие в данном продукте за последние 10 лет.

Технология YATI (англ. Yet Another Transformer With Improvements, «Еще один трансформер с улучшениями») позволила поиску Яндекса гораздо лучше оценивать смысловую связь между запросами пользователей и содержанием документов в интернете.

По словам разработчиков, трудность, которая возникает на пути к обучению трансформера, — это вычислительная сложность задачи. Новые модели хорошо масштабируются по качеству, но при этом в миллионы раз сложнее, чем те, которые применялись в поиске Яндекса раньше. Поэтому необходим запуск специализированного вычислительного кластера и распределенное обучение на нем. 

Сейчас модель одновременно обучается примерно на 100 ускорителях, которые физически расположены в разных серверах и общаются друг с другом через сеть.