ChatGPT перевершив студентів на іспитах

Дослідники провели експеримент, який показав, що ШІ здатний успішно складати університетські іспити, залишаючись при цьому непоміченими спеціальними програмами. Екзаменаційні роботи ChatGPT отримали більш високі оцінки, аніж роботи студентів, пише видання Ars Technica.

Команда вчених з Університету Редінга в Англії (University of Reading) під керівництвом Пітера Скарфа (Peter Scarfe) провела масштабний експеримент, щоб перевірити, наскільки ефективно сучасні системи штучного інтелекту можуть справлятися з університетськими іспитами. Дослідники створили понад 30 фіктивних облікових записів студентів-психологів та використали їх для складання іспитів, використовуючи відповіді, згенеровані ChatGPT. Експеримент охопив п’ять модулів бакалаврату з психології, включаючи завдання всіх трьох років навчання.

Результати виявилися приголомшливими — 94% робіт, створених ШІ, залишилися непоміченими екзаменаторами. Понад те, майже 84 % цих робіт отримали вищі оцінки, ніж роботи студентів-людей, загалом півбалла вище. «Екзаменатори були дуже здивовані результатами «, — зазначив Скарф. Причому цікаво, що деякі роботи ШІ були виявлені не через їх роботизованість, а через надто високу якість.

Експеримент також виявив обмеження існуючих систем виявлення контенту, створеного ШІ. За словами Скарфа, такі інструменти як GPTZero від Open AI і система Turnitin показують хороші результати в лабораторних умовах, але їхня ефективність значно знижується в реальній життєвій ситуації. Однак не всі результати були на користь ШІ. На останньому курсі, де вимагалося більш глибоке розуміння та складніші аналітичні навички, студенти-люди показали кращі результати, ніж ChatGPT.

Скарф підкреслив, що через постійне вдосконалення ШІ та відсутність надійних способів виявлення його використання, університетам доведеться адаптуватися та інтегрувати ШІ в освітній процес. «Роль сучасного університету полягає у підготовці студентів до професійної кар’єри, і реальність така, що після закінчення навчання вони, безсумнівно, будуть використовувати різні інструменти штучного інтелекту «, — сказав дослідник. Цей експеримент, по суті, порушує проблему, яка вже сьогодні вимагає перегляду існуючих методів навчання та екзаменації.