Как правило, блок обработки данных (CPU, GPU и другие компоненты) и оперативная память представляют собой отдельные компоненты, выполненные на различных микросхемах.
Но в компании Samsung решили объединить их в рамках одного чипа.
В результате, удалось создать первую в мире память HBM (High Bandwidth Memory) с интегрированным аппаратным модулем обработки задач ИИ.
Такое решение получило название HBM-PIM (High Bandwidth Memory integrated with Processing-In-Memory).
Фактически, компания использовала чипы HBM2 Aquabolt и добавила к ним программируемые вычислительные блоки (Programmable Computing Units, PCU), расположив их между банками памяти.
Такие вычислительные блоки относительно просты и оперируют 16-битными значениями с плавающей запятой с ограниченным набором инструкций.
Они могут перемещать данные и выполнять умножение и сложение.
.
Вычислительные блоки в памяти Samsung HBM-PIM работают на частоте 300 МГц и обеспечивают производительность 1,2 терафлопс на каждый чип.
При этом удалось сохранить энергопотребление чипов на прежнем уровне и обеспечить скорость передачи данных на уровне 2,4 Гбит/с для каждого контакта.
Несмотря на неизменное энергопотребление чипов, энергопотребление всей системы удалось снизить на существенные 71%.
Этого удалось достичь за счёт отказа от некоторых операций, необходимых при типичной конфигурации.
В частности, обычный процессор должен дважды передавать данные – считать входящие данные и записать результат обработки.
В случае HBM-PIM данные никуда не передаются.
Предлагаемая конструкция обеспечивает не только снижение энергопотребления, но и прирост производительности.
Так, использование HBM-PIM для задач машинного обучения и логического вывода, по мнению исследователей, более чем вдвое повышает производительность системы.
Что ещё важно, архитектура HBM-PIM обладает обратной совместимостью с обычными чипами памяти HBM2.
Таким образом, для использования нового решения не потребуется разработка новых аппаратных устройств.
Достаточно будет того, что программное обеспечение укажет системе PIM переключиться из обычного режима в режим обработки в памяти.
Тем не менее, один недостаток у нового решения всё же имеется.
Так как блоки PCU занимают место, которое ранее использовалось для размещения банков памяти, это приводит к уменьшению общей ёмкости чипа на половину – до 4 Гбит.
Чтобы обойти это ограничение, в Samsung решили объединить 4-гигабитные PIM чипы с обычными 8-гигабитными HBM2 чипами.
Благодаря использованию 4 чипов каждого типа, удалось создать стеки памяти по 6 ГБ.
Samsung уже начала рассылать новые чипы для тестирования партнёрам, разрабатывающим ускорители искусственного интеллекта.
Как ожидается, новая архитектура будет доступна к июлю.
(Открывается в новом окне).