«Сбер» представил бенчмарк Cowork Bench для оценки самостоятельности офисных ИИ-агентов
«Сбер» представил открытый русскоязычный бенчмарк Cowork Bench для оценки способности ИИ-агентов выполнять офисные задачи. Он позволяет проверить, насколько стабильно модели справляются с работой в таблицах, документах, календаре и базах данных.
Cowork Bench включает 475 сквозных офисных задач, охватывает 12 бизнес-функций и 26 корпоративных систем. В его основу легли международные практики оценки ИИ-агентов, адаптированные под российский бизнес.
Репозиторий бенчмарка доступен на GitVerse.
В сентябре ученые AIRI и «Сбера» разработали бенчмарк SAASBench для проверки способности ИИ-моделей определять мишень антитела.
по теме:
Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности
ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.