Инженеры OpenAI: «Для обучения GPT-4 теперь достаточно 5-10 человек»

По словам инженеров OpenAI, сейчас для переобучения модели GPT-4 с нуля необходимо всего от 5 до 10 специалистов.

Стоит отметить, что в создании этой модели, выпущенной в марте 2023 года, участвовали сотни людей, были подключены почти все ресурсы OpenAI. В ответ на вопрос гендиректора компании Сэма Альтмана инженеры ответили, что сейчас для переобучения GPT-4 с нуля необходимо не более 5-10 человек.

По словам одного из сотрудников OpenAI, который руководил процессом предварительного машинного обучения для самой мощной на сегодняшний день модели ИИ компании GPT-4.5, Алекса Пайно, в переобучении моделей GPT-4o и GPT-4 использовалось много того же материала, что и при обучении GPT-4.5. Дэниел Селсам, исследователь OpenAI, который работает над эффективностью данных и алгоритмами, согласен, что перестроить GPT-4 теперь будет намного проще.

По словам Сэма Альтмана, выпущенная в феврале новая модельGPT-4.5 стала первой, которая вызывает впечатление общения с вдумчивым человеком. Как отмечает Пайно, GPT-4.5 была разработана в 10 раз интеллектуальнее GPT-4. В то же время Альтман заявил, что OpenAI больше не испытывает ограничений в отношении вычислительных мощностей для обучения ИИ, и это то, чего мир еще окончательно не осознал.

Крупные технологические компании вкладывают миллиарды в инфраструктуру искусственного интеллекта. Ожидается, что в этом году совокупные капитальные затраты Microsoft, Amazon, Google и Meta составят $320 млрд для расширения возможностей в сфере ИИ.

В марте компания OpenAI объявила о закрытии крупнейшего в истории раунда частного технологического финансирования, включающего $30 млрд от SoftBank и $10 млрд от других инвесторов, в результате чего капитализация компании достигла $300 млрд. В заявлении компании говорится о том, что новый капитал поможет OpenAI еще больше расширить свои вычислительные мощности.

Альтман отмечает, что сейчас в OpenAI сосредотачиваются на эффективности данных, на которых обучается ИИ. Модели GPT очень эффективны при обработке информации, но существует предел того, насколько глубоко они могут понять данные.

Он объяснил, что с ростом вычислительных мощностей объем информации начинает расти медленнее. Для решения этой проблемы необходимы алгоритмические инновации, которые позволят извлечь больше пользы из того же самого объема информации.

Источник: Business Insider