ШІ не зміг керувати навіть Corolla: 8 із 11 тестів завершилися аваріями

Про це пише видання TTAC.

Для експерименту команда дослідників створила DrivingBench — тест для оцінки здатності готових ШІ-агентів керувати автомобілем. У ньому використовували Toyota Corolla із системою Comma та обладнанням OpenPilot, яке застосовують у дослідженнях автономного водіння.

Маршрут спеціально зробили простим: автомобіль мав проїхати коротку дистанцію через парковку, де були лише кілька поворотів і невеликі конуси, що позначали межі траси.

Кожна модель отримувала однакову команду та інструкції й могла самостійно керувати газом, гальмами та кермом. Спілкування відбувалося в одному безперервному чаті, а команди надходили до автомобіля через бездротову точку доступу. Через це машина іноді зупинялася, очікуючи на нову команду. Кожному агенту дали по три спроби.

Результати виявилися невтішними. У 8 із 11 заїздів моделі не подолали навіть 11% маршруту та завершували спробу вже на першому повороті.

Окремі помилки були пов'язані з неправильним розумінням навколишнього середовища. Grok, наприклад, сприйняв проміжок між конусами на зовнішньому боці траси як ворота та поїхав прямо за межі маршруту. Один із варіантів GPT помилково вирішив, що конуси з одного боку мають однаковий колір, хоча інструкція прямо попереджала не робити такого припущення.

Інші моделі не змогли правильно визначити, наскільки сильно потрібно повернути кермо на поворотах, через що автомобіль не вписувався в траєкторію.

Єдиним агентом, який повністю подолав трасу, став GPT-6 Astra. Це вдалося зробити з другої спроби. Заїзд не був ідеальним: автомобіль широко проходив правий поворот і майже виїхав за межі маршруту перед фінішем, однак усе ж завершив дистанцію.

Успішний заїзд коштував $7,74. Це приблизно в чотири рази більше, ніж попередня спроба, під час якої автомобіль зміг подолати лише половину маршруту. Дослідники пов'язують вищу вартість із більшим використанням токенів — одиниць обробки тексту, за які ШІ-системи можуть стягувати плату.

Раніше ми писали, щонова Toyota RAV4 отримала масивний кенгурятник.

Крім того,Toyota вкотре перенесла прем’єру електричного Highlander.