Apple хоче наділити кожен iPhone своєю великою мовною моделлю

Компанія Apple не поспішає приєднуватися до загальної гонки чат-ботів та штучного інтелекту нового покоління, але працює в цьому напрямку. Зокрема Apple досліджує можливості розміщення великих мовних моделей безпосередньо на мобільних пристроях користувачів. 

Apple вважає, що такий варіант буде кращим для користувачів, ніж онлайн-доступ. Щоправда, великі мовні моделі недаремно називаються великими — вони вимагають величезних обчислювальних ресурсів та великого обсягу оперативної пам’яті.  

Ідея купертинців полягає в тому, щоб зберігати мовні моделі на флеш-пам’яті, обсяг якої на порядок-два більше, ніж обсяг ОЗП. Метод під назвою Windowing передбачає у тому числі повторне використання моделлю деяких даних, які вона вже обробила, що знижує потребу у безперервній вибірці даних із пам’яті та прискорює весь процес. Метод Row-Column Bundling, у свою чергу, полягає у більш ефективному угрупуванні даних, що дозволяє моделі штучного інтелекту швидше зчитувати дані з флеш-пам’яті та прискорює її навчання. 

Ці методи повинні дозволити прискорити роботу моделі до п’яти разів при задіянні процесора та до 25 разів – при використанні GPU.