Специалисты Тюменского государственного университета (ТюмГУ) проанализировали эффективность использования искусственного интеллекта в качестве руководителя научно-исследовательской работы студента вуза. Для этого проводился эксперимент с участием обучающихся на третьем курсе направления подготовки «Педагогическое образование: начальное образование».
Студентов разбили на три группы. Первая группа из 9 человек при подготовке учебных работ консультировалась с GigaChat, вторая группа из 9 человек — с чат-ботом IMRE, 29 — с научными руководителями. Эксперимент проводился в течение учебного года. Анализ результатов защиты студенческих исследований не выявил статистически значимых различий между экспериментальными группами, которые пользовались GigaChat и IMRE. Поэтому в работе они рассматриваются как единая группа.
Ключевые выводы:
- как утверждается, студенты, которые консультировались с ИИ, получили значимо более низкие оценки. Среди типичных проблем — ссылки на несуществующие исследования и авторов, описание сгенерированных методик диагностик, слабое владение текстом исследования;
- работу с ИИ студенты оценили ниже (2,88), чем с педагогами (3,44). При этом они выше оценивали взаимодействие с ИИ при формулировке объекта и предмета исследования, выводов по параграфам и главам;
- ИИ лучше оценивается в тех случаях, когда необходимо обобщение данных или предложения по формулировкам. Педагоги выше оцениваются в случаях с формулировками, где необходимы знания и ориентирование в методологии исследования;
- 37,5% выразили желание продолжить взаимодействовать с ИИ, 62% — по ситуации. Никто не отказался бы от применения ИИ. При том, что 55,6% отметили готовность продолжения взаимодействия с педагогом, 22% отметили желание сменить его. По мнению авторов, это может демонстрировать как значимость личностных отношений с руководителем;
- студенты рассказали, что взаимодействие с ИИ полезно и эффективно, когда срочно нужен ответ или научный руководитель долго не отвечает, а также для быстрого редактирования работы, генерации уникального текста и написания выводов. Отмечается, что искусственный интеллект хорошо справляется с созданием теоретической части работы в условиях сжатых сроков;
- 37,5% считают, что взаимодействие с ИИ в качестве научного руководителя улучшило качество исследовательской работы против 44,4% в группе с педагогом. Отрицательно ответили 12,5% и 11,2% соответственно;
- студенты рассказали, что при работе с ИИ они научились четко формулировать вопросы, развили способность выявлять ошибки и логические несоответствия, а также навык составления промптов;
- студенты под руководством педагогов выше на 15,3% отмечали необходимость обучения взаимодействию с научным руководителем. Значимость обучения корректности задавания вопросов отмечают практически одинаковое количество студентов из обеих выборок — 22,2% и 25%. Только 12,5% в экспериментальной группе не видят необходимости в обучении такому взаимодействию.