Samsung создала оперативную память с интегрированными блоками обработки задач ИИ

Как правило, блок обработки данных (CPU, GPU и другие компоненты) и оперативная память представляют собой отдельные компоненты, выполненные на различных микросхемах.

Но в компании Samsung решили объединить их в рамках одного чипа.

В результате, удалось создать первую в мире память HBM (High Bandwidth Memory) с интегрированным аппаратным модулем обработки задач ИИ.

Такое решение получило название HBM-PIM (High Bandwidth Memory integrated with Processing-In-Memory).

Фактически, компания использовала чипы HBM2 Aquabolt и добавила к ним программируемые вычислительные блоки (Programmable Computing Units, PCU), расположив их между банками памяти.

Такие вычислительные блоки относительно просты и оперируют 16-битными значениями с плавающей запятой с ограниченным набором инструкций.

Они могут перемещать данные и выполнять умножение и сложение.

.

Вычислительные блоки в памяти Samsung HBM-PIM работают на частоте 300 МГц и обеспечивают производительность 1,2 терафлопс на каждый чип.

При этом удалось сохранить энергопотребление чипов на прежнем уровне и обеспечить скорость передачи данных на уровне 2,4 Гбит/с для каждого контакта.

Несмотря на неизменное энергопотребление чипов, энергопотребление всей системы удалось снизить на существенные 71%.

Этого удалось достичь за счёт отказа от некоторых операций, необходимых при типичной конфигурации.

В частности, обычный процессор должен дважды передавать данные – считать входящие данные и записать результат обработки.

В случае HBM-PIM данные никуда не передаются.

Предлагаемая конструкция обеспечивает не только снижение энергопотребления, но и прирост производительности.

Так, использование HBM-PIM для задач машинного обучения и логического вывода, по мнению исследователей, более чем вдвое повышает производительность системы.

Что ещё важно, архитектура HBM-PIM обладает обратной совместимостью с обычными чипами памяти HBM2.

Таким образом, для использования нового решения не потребуется разработка новых аппаратных устройств.

Достаточно будет того, что программное обеспечение укажет системе PIM переключиться из обычного режима в режим обработки в памяти.

Тем не менее, один недостаток у нового решения всё же имеется.

Так как блоки PCU занимают место, которое ранее использовалось для размещения банков памяти, это приводит к уменьшению общей ёмкости чипа на половину – до 4 Гбит.

Чтобы обойти это ограничение, в Samsung решили объединить 4-гигабитные PIM чипы с обычными 8-гигабитными HBM2 чипами.

Благодаря использованию 4 чипов каждого типа, удалось создать стеки памяти по 6 ГБ.

Samsung уже начала рассылать новые чипы для тестирования партнёрам, разрабатывающим ускорители искусственного интеллекта.

Как ожидается, новая архитектура будет доступна к июлю.

(Открывается в новом окне).