Как студенты используют Claude: новый отчёт от Anthropic

Системы ИИ больше не являются просто специализированными исследовательскими инструментами: они являются повседневными академическими спутниками. Поскольку ИИ все глубже интегрируются в образовательную среду, нам необходимо рассмотреть важные вопросы обучения, оценки и развития навыков. До сих пор большинство обсуждений основывалось на опросах и контролируемых экспериментах, а не на прямых доказательствах того, как студенты естественным образом интегрируют ИИ в свою академическую работу в реальных условиях.

Чтобы устранить этот пробел, мы провели одно из первых масштабных исследований реальных моделей использования ИИ в высшем образовании, проанализировав миллион анонимных разговоров студентов на Claude.ai.

Основные выводы нашего отчета по образованию:

• Студенты STEM являются ранними пользователями инструментов ИИ, таких как Claude, при этом студенты компьютерных наук особенно широко представлены (на них приходится 36,8% разговоров студентов, при этом они составляют всего 5,4% от всех дипломов США). Напротив, студенты бизнес-, медицинских и гуманитарных специальностей демонстрируют более низкие показатели внедрения по сравнению с их численностью.
• Мы выделили четыре модели взаимодействия студентов с ИИ, каждая из которых присутствовала в наших данных примерно в равной степени (каждая в 23–29% разговоров): прямое решение проблем, прямое создание результатов, совместное решение проблем и совместное создание результатов.
• Студенты в основном используют системы ИИ для создания (использования информации для изучения чего-то нового) и анализа (разбора известных и выявления связей), например, для создания проектов кодирования или анализа юридических концепций. Это согласуется с когнитивными функциями более высокого порядка в Таксономии Блума . Это поднимает вопросы о том, чтобы студенты не перекладывали критические когнитивные задачи на системы ИИ.

Выявление использования ИИ в образовательных целях

При исследовании того, как люди используют модели ИИ, защита конфиденциальности пользователей имеет первостепенное значение. Для этого проекта мы использовали Claude Insights and Observations, или « Clio », наш автоматизированный аналитический инструмент, который дает представление о том, как люди используют Claude. Clio позволяет обнаруживать снизу вверх закономерности использования ИИ, преобразуя разговоры пользователей в высокоуровневые сводки использования, такие как «устранение неполадок кода» или «объяснение экономических концепций». Clio использует многоуровневый автоматизированный процесс, который удаляет личную информацию пользователя из разговоров. Мы построили этот процесс так, чтобы он минимизировал информацию, которая передается с одного уровня на другой. Мы описали дизайн Clio, ориентированный на конфиденциальность, в этом более раннем блоге .

Мы использовали Clio для анализа примерно одного миллиона анонимных1 разговоров из учетных записей Claude.ai Free и Pro, привязанных к адресам электронной почты в высших учебных заведениях.2 Затем мы отфильтровали эти разговоры по студенческой и академической релевантности, например, по тому, относился ли разговор к курсовой работе или академическому исследованию, что дало 574 740 разговоров.3 Затем Clio сгруппировал эти разговоры, чтобы получить совокупные сведения, связанные с образованием: как были представлены различные академические предметы; как отличалось взаимодействие студентов с ИИ; и типы когнитивных задач, которые студенты делегируют системам ИИ.

Для чего студенты используют ИИ?

Мы обнаружили, что студенты в основном используют Claude для создания и улучшения образовательного контента по дисциплинам (39,3% разговоров). Это часто подразумевало разработку практических вопросов, редактирование эссе или обобщение академического материала. Студенты также часто использовали Claude для предоставления технических объяснений или решений для академических заданий (33,5%) — работая с ИИ для отладки и исправления ошибок в заданиях по кодированию, реализации алгоритмов программирования и структур данных, а также объяснения или решения математических задач. Часть этого использования также может быть мошенничеством, о котором мы поговорим ниже. Меньшая, но все же значительная часть использования студентами была связана с анализом и визуализацией данных (11,0%), поддержкой дизайна исследований и разработкой инструментов (6,5%), созданием технических диаграмм (3,2%) и переводом или корректурой контента между языками (2,4%).

Ниже приведена более подробная разбивка распространенных запросов по темам.

Распространенные запросы студентов по четырем основным предметным областям, основанные на 15 самых частых запросах в Clio по каждому предмету.

Использование ИИ в академических дисциплинах

Затем мы изучили, какие предметы показали непропорциональное использование Claude. Мы сделали это, сравнив модели использования Claude.ai с числом присужденных степеней бакалавра в США. 4 Наиболее непропорционально интенсивное использование Claude было в области компьютерных наук: несмотря на то, что они представляют только 5,4% степеней бакалавра в США, на компьютерные науки приходилось 38,6% разговоров на Claude.ai (это может отражать особые сильные стороны Клода в компьютерном кодировании). Естественные науки и математика также показывают более высокую представленность в Claude.ai относительно числа студентов (15,2% против 9,2% соответственно).

Напротив, образовательные разговоры, связанные с бизнесом, составили всего 8,9% разговоров, несмотря на то, что они составляли 18,6% бакалаврских степеней, что показывает непропорционально низкое использование Клода. Медицинские профессии (5,5% против 13,1%) и гуманитарные науки (6,4% против 12,5%) также были представлены меньше по сравнению с числом студентов, обучающихся по этим дисциплинам.

Эти закономерности указывают на то, что студенты STEM, особенно в области компьютерных наук, могут быть более ранними пользователями Claude в образовательных целях, в то время как студенты в области бизнеса, здравоохранения и гуманитарных дисциплин могут интегрировать эти инструменты в свои академические рабочие процессы медленнее. Это может отражать более высокую осведомленность о Claude в сообществах компьютерных наук, а также более высокую компетентность систем ИИ в задачах, выполняемых студентами STEM по сравнению с задачами, выполняемыми студентами других дисциплин.

Сравнение процента разговоров студентов Claude.ai, связанных с предметной областью Национального центра образовательной статистики ( NCES ) (серый) с процентом студентов колледжей США с соответствующей специальностью (оранжевый). Обратите внимание, что проценты не составляют в сумме 100%, поскольку некоторые разговоры были отнесены к категории «Другое» из NCES, которую мы исключили из нашего анализа.

Как студенты взаимодействуют с ИИ

Существует множество способов взаимодействия с ИИ, и они по-разному влияют на процесс обучения. В нашем анализе того, как студенты взаимодействуют с ИИ, мы выделили четыре различных модели взаимодействия, которые мы классифицировали по двум разным осям, как показано на рисунке ниже.

Первая ось — «режим взаимодействия». Это может включать: 5 (1) прямые разговоры, где пользователь стремится как можно быстрее решить свой вопрос, и (2) совместные разговоры, где пользователь активно стремится вступить в диалог с моделью для достижения своих целей. Вторая ось — «желаемый результат» взаимодействия. Это может включать: (1) решение проблем , где пользователь ищет решения или объяснения вопросов, и (2) создание выходных данных , где пользователь стремится создавать более длинные выходные данные, такие как презентации или эссе. Объединение двух осей дает нам четыре шаблона, представленные ниже.

Наша таксономия бесед учащихся с искусственным интеллектом, а также примеры тем бесед, основанные на темах, предложенных Clio.

Эти четыре стиля взаимодействия были представлены с аналогичными показателями (каждый от 23% до 29% разговоров), показывая диапазон использования ИИ студентами. В то время как традиционный веб-поиск обычно поддерживает только прямые ответы, системы ИИ обеспечивают гораздо более широкий спектр взаимодействий, а вместе с ними и новые образовательные возможности. Вот некоторые избранные примеры положительного обучения:

• Объяснять и прояснять философские концепции и теории
• Создание комплексных образовательных ресурсов и учебных материалов по химии
• Объясните анатомию мышц, физиологию и концепции функций для академических заданий.

В то же время системы ИИ создают новые проблемы. Распространенный вопрос: «Насколько часто студенты используют ИИ для списывания?» На него трудно ответить, особенно потому, что мы не знаем конкретного образовательного контекста, в котором используется каждый из ответов Клода. Например, разговор по прямому решению проблем может быть предназначен для списывания на домашнем экзамене… или для проверки студентом своей работы на практическом тесте. Разговор по прямому созданию выходных данных может быть предназначен для создания эссе с нуля… или для создания резюме знаний для дополнительных исследований. Является ли списыванием совместный разговор, также может зависеть от конкретных правил курса.

При этом почти половина (~47%) разговоров студентов с ИИ были прямыми, то есть поиском ответов или контента с минимальным участием. В то время как многие из них служат законным целям обучения (например, задавание концептуальных вопросов или создание учебных пособий), мы нашли примеры прямых разговоров, включая:

• Предоставьте ответы на вопросы машинного обучения с множественным выбором
• Предоставьте прямые ответы на вопросы теста по английскому языку
• Перепишите маркетинговые и деловые тексты, чтобы избежать обнаружения плагиата

Они поднимают важные вопросы об академической честности, развитии навыков критического мышления и о том, как лучше всего оценивать обучение студентов. Даже совместные беседы могут иметь сомнительные результаты обучения. Например, «решить домашние задачи по вероятности и статистике с объяснениями» может включать в себя несколько разговоров между ИИ и студентом, но все равно перекладывает значительную часть размышлений на ИИ. Мы продолжим изучать эти взаимодействия и попытаемся лучше различить, какие из них способствуют обучению и развитию критического мышления.

Шаблоны использования ИИ для конкретных субъектов

Студенты разных специальностей взаимодействуют с ИИ по-разному:

• Беседы по естественным наукам и математике в основном касались решения проблем, например, «решение конкретных вероятностных задач с пошаговыми вычислениями» и «решение академических домашних заданий или экзаменационных задач с пошаговыми объяснениями».
• Компьютерные науки , инженерное дело , естественные науки и математика тяготели к совместным беседам, тогда как гуманитарные науки, бизнес и здравоохранение более равномерно распределились между совместными и прямыми беседами.
• Образование показало самое сильное предпочтение для создания выходных данных, охватив 74,4% разговоров. Однако это использование может быть связано с несовершенством наших методов фильтрации. Многие из этих разговоров включали «создание всеобъемлющих учебных материалов и образовательных ресурсов» и «создание подробных планов уроков», что указывает на то, что учителя также используют Claude для образовательной поддержки. В общей сложности образование составило 3,8% всех разговоров.

Это говорит о том, что образовательные подходы к интеграции ИИ, вероятно, выиграют от дисциплинарной специализации. Наши данные — это первый шаг к выявлению различий в том, как студенты разных предметов взаимодействуют с ИИ.

Распределение разговоров по стилям взаимодействия для каждого предмета NCES.

Когнитивные задачи, которые студенты делегируют ИИ

Мы также исследовали, как студенты делегируют когнитивные обязанности системам ИИ. Мы использовали таксономию Блума 6 , иерархическую структуру, используемую в образовании для классификации когнитивных процессов от более простых к более сложным. Хотя структура изначально предназначалась для мышления студентов, мы адаптировали ее для анализа ответов Клода при разговоре со студентом.

Мы увидели инвертированную картину доменов таксономии Блума, продемонстрированную ИИ:

• Клод в основном выполнял когнитивные функции высшего порядка, при этом наиболее распространенными операциями согласно таксономии Блума были Создание (39,8%) и Анализ (30,2%).
• Менее распространенными были когнитивные задачи низшего порядка: применение (10,9%), понимание (10,0%) и запоминание (1,8%).

Это распределение также различалось по стилю взаимодействия. Как и ожидалось, задачи по созданию выходных данных, такие как создание резюме академического текста или отзывов на эссе, включали больше функций создания. Задачи по решению проблем, такие как решение задач исчисления или объяснение основ программирования, включали больше функций анализа.

Тот факт, что системы ИИ демонстрируют эти навыки, не мешает студентам также заниматься этими навыками самостоятельно — например, совместно создавать проект или использовать сгенерированный ИИ код для анализа набора данных в другом контексте, — но это указывает на потенциальные проблемы студентов, передающих когнитивные способности на аутсорсинг ИИ. Существуют обоснованные опасения, что системы ИИ могут стать опорой для студентов, подавляя развитие базовых навыков, необходимых для поддержки мышления более высокого порядка. Перевернутая пирамида, в конце концов, может опрокинуться.

Когнитивные навыки, которые демонстрирует Клод в беседах со студентами, основанные на таксономии Блума. Описания навыков от Центра педагогических технологий и обучения Флоридского университета .

Ограничения

Наше исследование основано на данных реального мира. Это имеет много преимуществ с точки зрения достоверности наших результатов и их применения в образовательных контекстах. Однако оно также имеет ограничения, которые могут повлиять на область наших результатов:

• Наш набор данных, скорее всего, охватывает первых пользователей и может не представлять более широкую аудиторию студентов;
• Неясно, насколько репрезентативно использование Claude по отношению к общему использованию ИИ в образовании — многие студенты используют инструменты ИИ помимо Claude.ai, а это значит, что мы представляем лишь частичное представление об их общих моделях взаимодействия с ИИ;
• Вероятно, есть как ложные положительные, так и ложные отрицательные результаты в классификации разговоров. Мы полагались на разговоры с аккаунтов, привязанных к адресам электронной почты высшего образования: некоторые из них, которые наш классификатор посчитал связанными со студентами, на самом деле могут быть от сотрудников или преподавателей. Кроме того, другие разговоры студентов, вероятно, ведутся с аккаунтов, привязанных к адресам электронной почты, не относящимся к университету;
• Из соображений конфиденциальности мы анализируем использование Claude.ai только в течение одного 18-дневного окна хранения. Использование студентами, вероятно, различается в течение года, поскольку их образовательные обязательства колеблются;
• Мы изучаем только те задачи, которые студенты делегируют ИИ, а не то, как они в конечном итоге используют результаты ИИ в своей академической работе или эффективно ли эти разговоры способствуют результатам обучения;
• Категоризация разговоров студентов с ИИ по академическим дисциплинам может не в полной мере охватывать междисциплинарную работу, в которой модели использования ИИ могут существенно различаться;
• Применение таксономии Блума к когнитивным процессам ИИ, в отличие от студента, несовершенно. Такие навыки, как запоминание, сложнее количественно оценить в контексте систем ИИ.

Институциональная политика в отношении использования ИИ в образовании существенно различается и может существенно влиять на наблюдаемые нами закономерности способами, которые мы не можем измерить в рамках этого набора данных.

Выводы и взгляд вперед

Наш анализ дает общее представление о том, где и как студенты используют ИИ в реальном мире. Мы признаем, что находимся только в начале пути к пониманию влияния ИИ на образование.

В ходе наших обсуждений со студентами и преподавателями мы увидели, что ИИ может значительно расширить возможности обучения. Например, ИИ использовался для поддержки студенческого проекта по созданию термоядерного реактора и для улучшения коммуникации между студентами и преподавателями в классах .

Но мы не питаем иллюзий, что эти первоначальные результаты полностью отражают глубокие изменения, происходящие в образовании. ИИ делает жизнь педагогов более сложной во всех отношениях, и это исследование не полностью охватывает их. Поскольку студенты делегируют когнитивные задачи более высокого порядка системам ИИ, возникают фундаментальные вопросы: как мы можем гарантировать, что студенты по-прежнему будут развивать базовые когнитивные и метакогнитивные навыки? Как мы переопределим политику оценки и списывания в мире, поддерживаемом ИИ? Как выглядит осмысленное обучение, если системы ИИ могут почти мгновенно генерировать отточенные эссе или быстро решать сложные проблемы, на которые у человека ушло бы много часов работы? По мере того, как возможности моделей растут, а ИИ становится все более интегрированным в нашу жизнь, изменится ли все, от разработки домашних заданий до методов оценки, кардинально?

Эти результаты вносят вклад в продолжающиеся дискуссии среди педагогов, администраторов и политиков о том, как мы можем гарантировать, что ИИ углубляет, а не подрывает обучение. Дальнейшие исследования помогут нам лучше понять, как и студенты, и преподаватели используют ИИ, связи с результатами обучения и долгосрочные последствия для будущего образования.

Подход Anthropic к образованию

В дополнение к этому отчету об образовании мы сотрудничаем с университетами , чтобы лучше понять роль ИИ в образовании. В качестве раннего шага мы экспериментируем с режимом обучения, который делает акцент на методе Сократа и концептуальном понимании вместо прямых ответов. Мы с нетерпением ждем сотрудничества с университетами в будущих исследованиях и более непосредственного изучения влияния ИИ на обучение.

Источник: www.anthropic.com

Комментарии: