High Bandwidth Memory
High Bandwidth Memory (HBM) é uma interface de memória de computador para DRAM síncrona empilhada em 3D (SDRAM) inicialmente da Samsung, AMD e SK Hynix. É usada em conjunto com aceleradores gráficos de alto desempenho, dispositivos de rede, ASICs de alto desempenho, como cache no pacote ou RAM no pacote em CPUs, e FPGAs e em alguns supercomputadores. O primeiro chip de memória HBM foi produzido pela SK Hynix em 2013, e os primeiros dispositivos a usar HBM foram as GPUs AMD Fiji em 2015.
Imagem: ScotXW · BY-SA · Openverse
A HBM atinge maior largura de banda do que DDR4 ou GDDR5 usando menos energia e em um formato substancialmente menor. Isso é alcançado empilhando até 32 DRAM dies e um dado base opcional que pode incluir circuitos de buffer e lógica de teste. O empilhamento é frequentemente conectado ao controlador de memória em uma GPU ou CPU através de um substrato, como um interposer de silício. Alternativamente, o dado de memória pode ser empilhado diretamente no chip da CPU ou GPU. Dentro do empilhamento, os dies são interconectados verticalmente por vias de silício através (TSVs) e microbumps. A tecnologia HBM é semelhante em princípio, mas incompatível com, a interface Hybrid Memory Cube (HMC) desenvolvida pela Micron Technology. O barramento de memória HBM é muito largo em comparação com outras memórias DRAM, como DDR4 ou GDDR5. Um empilhamento HBM1 de quatro dies DRAM (4‑Hi) tem dois canais de 128‑bits por dado para um total de 8 canais e uma largura de 1024 bits no total. Uma placa gráfica/GPU com quatro empilhamentos HBM 4‑Hi teria, portanto, um barramento de memória com largura de 4096 bits. Em comparação, a largura do barramento das memórias GDDR é de 32 bits, com 16 canais para uma placa gráfica com uma interface de memória de 512‑bits. HBM1 suportava até 4 GB por pacote.
Interface
A DRAM HBM é firmemente acoplada ao dado de computação hospedeiro com uma interface distribuída. A interface é dividida em canais independentes. Os canais são completamente independentes uns dos outros e não são necessariamente síncronos entre si. A DRAM HBM usa uma arquitetura de interface larga para alcançar operação de alta velocidade e baixa potência. A DRAM HBM1 usava um clock diferencial de 500 MHz CK_t / CK_c (onde o sufixo "_t" denota o componente "verdadeiro", ou "positivo", do par diferencial, e "_c" significa o componente "complementar"). Os comandos são registrados nas bordas de subida de CK_t e CK_c. Cada interface de canal mantinha um barramento de dados de 128‑bits operando nessa taxa de dados dupla (DDR). HBM1 suportava taxas de transferência de 1 GT/s por pino (transferindo 1 bit), produzindo uma largura de banda total do pacote de 128 GB/s.
HBM2
A segunda geração da High Bandwidth Memory, HBM2, também especificou até oito dies por empilhamento e taxas de transferência de pino duplicadas de até 2 GT/s. Mantendo acesso de 1024‑bits de largura, a HBM2 foi capaz de atingir 256 GB/s de largura de banda de memória por pacote. A especificação HBM2 permitia até 8 GB por pacote. A HBM2 foi prevista para ser especialmente útil para aplicações de consumo sensíveis ao desempenho, como realidade virtual. Em 19 de janeiro de 2016, a Samsung anunciou a produção em massa inicial da HBM2, com até 8 GB por empilhamento. A SK Hynix também anunciou a disponibilidade de empilhamentos de 4 GB em agosto de 2016.
HBM3
No final de 2020, a Micron revelou que o padrão HBM2E seria atualizado e, juntamente com isso, revelou o próximo padrão então conhecido como HBMnext (mais tarde renomeado para HBM3). Este seria um grande salto geracional em relação ao HBM2 e o substituto do HBM2E. Este novo VRAM teria chegado ao mercado no quarto trimestre de 2022. Isso provavelmente teria introduzido uma nova arquitetura, como o nome sugere. Embora a arquitetura pudesse ter sido reformulada, vazamentos apontavam para desempenho semelhante ao padrão HBM2E atualizado. Esta RAM provavelmente seria usada principalmente em GPUs de datacenter. Em meados de 2021, a SK Hynix revelou algumas especificações do padrão HBM3, com velocidades de I/O de 5,2 Gbit/s e largura de banda de 665 GB/s por pacote, bem como soluções de até 16 camadas 2.5D e 3D.
HBM-PIM
Em fevereiro de 2021, a Samsung anunciou o desenvolvimento de HBM com processamento em memória (PIM). Esta nova memória traz capacidades de computação de IA para dentro da memória, para aumentar o processamento em larga escala de dados. Um motor de IA otimizado para DRAM é colocado dentro de cada banco de memória para permitir processamento paralelo e minimizar a movimentação de dados. A Samsung afirma que isso fornecerá o dobro do desempenho do sistema e reduzirá o consumo de energia em mais de 70%, sem exigir quaisquer alterações de hardware ou software no resto do sistema.
HBM4
Em julho de 2024, o JEDEC anunciou suas especificações preliminares para HBM4. Ele reduziu a taxa de dados por pino para 6,4 Gbit/s/pino (o nível do HBM3), mas como agora usa uma interface de 2048 bits por empilhamento (dobrando a das gerações anteriores), ainda atinge uma taxa de dados por empilhamento maior (1,6 TB/s) do que o HBM3E. Ele também permitirá camadas de 4 GB (produzindo 64 GB em configurações de 16 camadas). Em abril de 2025, o JEDEC lançou a especificação oficial do HBM4. Suporta velocidades de transferência de até 8 Gb/s em uma interface de 2048 bits, com largura de banda total de até 2 TB/s, e altura de empilhamento de 4 a 16, com densidades de dado DRAM de 24 Gb ou 32 Gb, permitindo capacidades de até 64 GB. HBM4 é compatível com versões anteriores com controladores HBM3. Samsung, Micron e SK Hynix contribuíram para o padrão.
Tecnologias
Em fevereiro de 2021, a Samsung anunciou o desenvolvimento de HBM com processamento em memória (PIM, na sigla em inglês para processing-in-memory). Essa nova memória incorpora capacidades de computação de inteligência artificial no interior da própria memória para acelerar o processamento de dados em larga escala. Um mecanismo de IA otimizado para DRAM é posicionado dentro de cada banco de memória para permitir processamento paralelo e minimizar a movimentação de dados. A Samsung afirma que essa arquitetura proporciona o dobro do desempenho do sistema e reduz o consumo de energia em mais de 70%, sem exigir alterações de hardware ou software no restante do sistema.
Imagem: Shmuel Csaba Otto Traian, or User:ScotXW · BY-SA · Openverse
Antecedentes
A memória empilhada em dado foi inicialmente comercializada na indústria de memória flash. A Toshiba introduziu um chip de memória flash NAND com oito dados empilhados em abril de 2007, seguida pela Hynix Semiconductor introduzindo um chip flash NAND com 24 dados empilhados em setembro de 2007. A memória de acesso aleatório (RAM) empilhada em 3D usando tecnologia de via de silício através (TSV) foi comercializada pela Elpida Memory, que desenvolveu o primeiro chip DRAM de 8 GB (empilhado com quatro DDR3 SDRAM dies) em setembro de 2009, e o lançou em junho de 2011. Em 2011, a SK Hynix introduziu memória DDR3 de 16 GB (classe 40 nm) usando tecnologia TSV, a Samsung Electronics introduziu DDR3 de 32 GB empilhado em 3D (classe 30 nm) baseado em TSV em setembro, e então Samsung e Micron Technology anunciaram a tecnologia Hybrid Memory Cube (HMC) baseada em TSV em outubro.
Desenvolvimento
O desenvolvimento da High Bandwidth Memory começou na AMD em 2008 para resolver o problema do crescente uso de energia e do fator de forma da memória do computador. Nos vários anos seguintes, a AMD desenvolveu procedimentos para resolver problemas de empilhamento de dados com uma equipe liderada pelo membro sênior da AMD, Bryan Black. Para ajudar a AMD a realizar sua visão do HBM, eles alistaram parceiros da indústria de memória, particularmente a empresa coreana SK Hynix, que tinha experiência anterior com memória empilhada em 3D, bem como parceiros da indústria de interposer (a empresa taiwanesa UMC) e da indústria de empacotamento (Amkor Technology e ASE).
