Лаборатория ИИ «Сколково» изучила, как культурные аспекты отражаются в ответах систем искусственного интеллекта, что может иметь важное значение для разработки и применения этих технологий в международном бизнес-контексте. Были изучены следующие модели: GPT-3.5, GPT-4o, GPT 4o-mini, Claude 3.5 Sonnet, ChatGLM-turbo, Spark, Llama2-7B-Chat, Llama2-13B-Chat, Qwen-7B-Chat, Qwen-14B-Chat, Baichuan-13B-Chat, Baichuan2-7B-Chat, Baichuan2-13B-Chat, ChatGLM-6B, ChatGLM2-6B, ChatGLM3-6B, Moss-moon-003-sft, Alpaca-7B, YandexGPT, GigaChat.

В рамках исследования было проведено три эксперимента. Во-первых, исследователи проанализировали, существуют ли статистически значимые различия в ответах LLM на вопросы стандартизированного опросника, основанного на широко распространенной модели культурных измерений Хофстеде. Во-вторых, был применен более точный метод измерения культурных различий между моделями, разработанный и основанный на тенденции больших языковых моделей показывать лучшие результаты в контрастных контекстах, по отношению к отечественным языковым моделям — Yandex GPT и GigaChat. Результаты российских моделей были сравнены с результатами по моделям, разработанным в США и Китае. В-третьих, было изучено, различаются ли LLM по стратегиям убеждения собеседника.

Ключевые выводы:

• язык опросника, на который отвечает большая языковая модель, оказывает существенное влияние на ее ответы. Ответы разных моделей на вопрос, заданный на определенном языке, будут различаться меньше, чем ответы одной модели на вопрос, задаваемый на разных языках;
• при сравнении культурных индексов Хофстеде по адаптированной для LLM методике российские модели (GigaChat и YandexGPT) показали склонность к неприятию конкуренции и прощению ошибок, меньшую дистанцию к власти и более долгосрочную ориентацию по сравнению с усредненными показателями американских и китайских моделей. Хотя это сочетание характеристик напоминает отчасти культурные паттерны скандинавских стран, по другим культурным измерениям Хофстеде существенных различий между российскими и зарубежными моделями обнаружено не было;
• сравнивая распределения ответов различных моделей, исследователи обнаружили, что только российские модели имеют характерное «двугорбое» распределение по индексам индивидуализма и избегания неопределенности. В некоторых ситуациях GigaChat и YandexGPT предпочитают реагировать как индивидуалисты, а в некоторых — как коллективисты, что коррелирует с результатами масштабного исследования населения России в 2015–2016 годах;
• модели статистически значимо различаются в своем речевом поведении в ситуациях убеждения. Для всех моделей наиболее эффективной стратегией убеждения стала апелляция к авторитету; второе место разделили потребность в последовательности и дефицит; социальная валидация и симпатия оказались значимо неважными почти для всех моделей; взаимность как стратегия убеждения не дает статистически устойчивого поведения модели;
• исследовательская группа полагает, что именно культурные предпочтения проникают в ответы больших языковых моделей на заключительном этапе обучения, когда человек-разметчик выбирает из нескольких ответов модели наиболее предпочтительный для него. Из этого следует, что необходима специальная «культурно-ориентированная» инструкция для разметчиков или отбор разметчиков через соответствующие тесты.

Расскажите знакомым: