La notizia in sintesi
- d-Matrix presenta la memoria impilata Raptor 3D DRAM per acceleratori AI.
- La tecnologia punta a superare i limiti energetici e di banda dell’HBM.
- Ogni scheda dichiara 32 GB, oltre 100 TB/s e 0,37 pJ/bit.
- Prestazioni, costi e affidabilità dovranno essere confermati dalla produzione su larga scala.
Riassunto generato con AI
Raptor 3D DRAM per l’inferenza AI
d-Matrix ha presentato Raptor 3D DRAM, un’architettura di memoria impilata progettata per gli acceleratori dedicati all’inferenza dell’intelligenza artificiale. La soluzione colloca la logica sopra la DRAM, con l’obiettivo di combinare una banda vicina alla SRAM con una capacità superiore e consumi inferiori rispetto alle configurazioni HBM comparabili.
Il progetto nasce dalla crescente pressione esercitata da modelli AI più grandi e dalle cache KV, che rendono centrali capacità, velocità di trasferimento e alimentazione della memoria. Per gli acceleratori, il problema non riguarda soltanto l’elaborazione: spostare enormi quantità di dati tra memoria e motori di calcolo può diventare uno dei maggiori vincoli energetici dell’intero sistema.
Raptor punta quindi a ridurre la distanza fisica tra dati e calcolo. Secondo i valori dichiarati da d-Matrix, questa scelta potrebbe offrire oltre 100 TB/s di banda per scheda con un consumo di 0,37 pJ/bit, ma le prestazioni restano dati del produttore e non equivalgono a benchmark indipendenti.
Le innovazioni piu' interessanti di tecnologia e scienza, dritte nella tua inbox.
Banda elevata, capacità inferiore e vincoli tecnici
Il confronto proposto da d-Matrix parte dai limiti delle memorie disponibili negli acceleratori AI. Una configurazione HBM4 di riferimento raggiunge circa 18-20 TB/s; un sistema HBM ipotetico da 100 TB/s, con un’efficienza di 2,4 pJ/bit, richiederebbe 1,92 kW per la sola memoria. La SRAM può invece superare 300 TB/s, ma dispone di capacità inferiori e richiede più silicio per ogni bit memorizzato.
La proposta Raptor 3D DRAM sposta il die logico direttamente sopra la DRAM, evitando che il calore generato dal calcolo attraversi l’intero stack di memoria. Il die logico è realizzato con processo TSMC N4 e collegato al livello inferiore con stacking Face-to-Face a passo di 36 micron. Per una configurazione 1-Hi, d-Matrix indica come gestibile tramite raffreddamento a liquido una densità di potenza di 0,5 W/mm² e DRAM a 100 °C.
Ogni scheda viene accreditata di 32 GB di capacità, oltre 100 TB/s di banda e 0,37 pJ/bit. Rispetto a una soluzione HBM4 da 192 GB, la capacità resta nettamente più bassa, mentre la banda dichiarata aumenta di 5,6 volte, l’energia richiesta diminuisce tra cinque e otto volte e la densità delle connessioni I/O cresce di sette volte.
Il chiplet integra 256 tensor engine, fisicamente allineati ai banchi DRAM per limitare il percorso dei dati. Il principio è coerente con la ricerca di una maggiore efficienza dell’inferenza, emersa anche nei chip Gemini progettati per contenere il costo energetico delle elaborazioni. Il disegno, tuttavia, deve affrontare una differenza fra pacchetti da 128 byte richiesti dai motori e 96 byte complessivi forniti dai tre banchi di ciascun canale.
Questa discrepanza può imporre letture aggiuntive e quindi sprecare una parte della banda disponibile. Anche con un collegamento molto rapido, l’efficienza reale dipende dall’allineamento tra il formato dei dati richiesto dai motori e quello servito dalla memoria. È un elemento tecnico rilevante perché riduce il margine fra banda teorica e banda effettivamente sfruttabile.
Le difficoltà riguardano inoltre temperatura, alimentazione e produzione. A 100 TB/s, anche 0,37 pJ/bit corrispondono a circa 300 watt assorbiti dall’I/O. La memoria, progettata per una temperatura di giunzione di 105 °C, viene aggiornata ogni 4 millisecondi per compensare l’aumento delle correnti di perdita.
Affidabilità e verifiche decisive per il mercato
d-Matrix indica microbanchi da 5,33 MB per limitare all’1,37% la perdita di banda causata dai difetti. Sul die logico è inoltre previsto un codice Reed-Solomon T=2, capace di correggere due errori di simbolo ogni 128 byte.
Nella simulazione conclusiva, Raptor avrebbe raggiunto una densità di banda 23,4 volte superiore e un’efficienza energetica 13,5 volte migliore rispetto a una piattaforma NVIDIA Rubin R200 con HBM4, considerando un utilizzo effettivo della banda dell’83-85%. Il confronto va letto come una stima del produttore, non come una misurazione indipendente.
Il passaggio decisivo sarà la verifica su larga scala di costi, affidabilità e resa produttiva. Se questi aspetti confermeranno i dati dichiarati, la 3D DRAM potrà offrire un’alternativa mirata alla HBM per carichi di inferenza particolarmente sensibili a banda e consumi.
FAQ
Che cos’è Raptor 3D DRAM?
Sì, è un’architettura di memoria impilata di d-Matrix che porta la logica sopra la DRAM per acceleratori dedicati all’inferenza AI.
Quanta banda dichiara una scheda Raptor?
Sì, ogni scheda Raptor è accreditata di oltre 100 TB/s di banda, con 32 GB di capacità di memoria dichiarata.
Qual è il consumo energetico dichiarato?
Sì, d-Matrix indica un consumo di 0,37 pJ/bit, mentre a 100 TB/s l’I/O assorbirebbe circa 300 watt.
Raptor offre più capacità della memoria HBM4?
No, una scheda Raptor dichiara 32 GB, mentre il confronto citato riguarda una soluzione HBM4 da 192 GB.
Come è stata verificata questa analisi?
Sì, il contenuto nasce da un’analisi approfondita e verifica incrociata della Redazione su numerose fonti, tra cui Tom’s Hardware, con supervisione umana prima della pubblicazione.
Articolo generato dal sistema di redazione AI di Datamoney, con supervisione umana finale.Non perdere gli errori di prezzo clamorosi su Amazon!
Iscriviti al canale Telegram e ricevili in tempo reale
Guide agli acquisti su Amazon
Le notizie più lette
