ChatGPT погіршився: дослідники зі Стенфорда з'ясували причину

Користувачі на офіційному форумі OpenAI нарікали на погані відповіді від мовної моделі ChatGPT-4 і чат-бота Bing від Microsoft, що працює на ній же.

Вчені зі Стенфордського університету вивчила еволюцію чат-ботів від OpenAI та виявили, що ChatGPT останнім часом погіршився.

Про це йдеться в результатах проведених тестів.

Дослідники використовували такі методи для оцінки його можливостей:

• розв'язання математичних задач;
• відповіді на делікатні/небезпечні запитання;
• генерація коду;
• візуальне мислення.

Дослідники підкреслили, що перераховані вище завдання були ретельно відібрані, щоб проаналізувати "різноманітні та корисні можливості цих LLM" (великих мовних моделей). Але пізніше вони визначили, що їхня продуктивність і поведінка були зовсім іншими та не в кращий бік.

Фахівці дослідили результати тестів, що продемонстрували наскільки змінювалася поведінка GPT-3.5 і GPT-4 протягом відносно короткого проміжку часу.

Тим часом Apple заборонила використання ChatGPT своїм працівникам.