Apple створила ШІ, який генерує тексти в 128 разів швидше за аналоги

Розробники Apple та Університету штату Огайо представили нову дифузійну модель Few-Step Discrete Flow-Matching (FS-DFM), яка здатна писати тексти у 128 разів швидше за аналогічні системи. Про це повідомляє 9to5mac.com із посиланням на дослідження “FS-DFM: швидка та точна генерація довгих текстів за допомогою мовних дифузійних моделей з малим числом кроків”.

FS-DFM може створювати повні текстові фрагменти всього за вісім кроків уточнення, тоді як іншим дифузійним моделям для цього потрібно понад тисячу кроків.

Як працює FS-DFM:

1. Навчання на різних ітераціях уточнення – модель опановує обробку тексту за різними сценаріями.
2. Використання “учительської” моделі – допомагає робити більші та точніші оновлення на кожному кроці, не виходячи за рамки заданого тексту.
3. Корекція кожної ітерації – дозволяє досягти кінцевого результату за меншу кількість кроків та зі стабільнішою роботою моделі.

Результати:

FS-DFM показала відмінні результати за двома ключовими метриками:

• Перплексія – оцінка якості тексту: нижчий показник означає природніший і точніший текст.
• Ентропія – показник впевненості моделі у виборі слів: занадто низька робить текст передбачуваним, занадто висока – хаотичним.

Навіть компактні версії FS-DFM з 1,7, 1,3 та 0,17 млрд параметрів стабільно забезпечують меншу перплексію та більш стабільну ентропію у порівнянні з більшими моделями Dream (7 млрд параметрів) та LLaDA (8 млрд параметрів).

Розробники планують опублікувати код та контрольні точки моделі, щоб спростити відтворення результатів і подальші дослідження.