Cosè la memoria di Scratchpad?

L'accesso ai dati è una parte fondamentale della progettazione della CPU. Le CPU operano a velocità estremamente elevate, elaborando più istruzioni per ogni ciclo di clock e quindi necessitano di accedere a molti dati. La stragrande maggioranza di questi dati è memorizzata sul supporto di memorizzazione. I dispositivi di archiviazione, tuttavia, sono incredibilmente lenti rispetto a una CPU. I dispositivi di archiviazione sono anche significativamente migliori nelle letture sequenziali rispetto alle letture casuali, sebbene gli SSD offrano un netto miglioramento in questo senso (e molti altri) rispetto agli HDD.

La RAM di sistema è progettata per essere caricata con tutti i dati di cui la CPU potrebbe aver bisogno per il software attualmente in esecuzione. La RAM ha una latenza significativamente inferiore rispetto all'archiviazione, inoltre è specificamente adattata per avere elevate prestazioni di lettura casuale. Tuttavia, per quanto la RAM moderna sia veloce, non è ancora niente in confronto alla CPU con latenze dell'ordine di 400 cicli di clock.

Per ridurre ulteriormente la latenza, la maggior parte delle CPU moderne include livelli di memoria cache. In genere, queste sono denominate cache L1, L2 e L3. L1 è davvero ad alta velocità, in genere richiede l'ordine di 5 cicli di clock per l'accesso. L2 è un po' più lento, dell'ordine di 20 cicli. L3 è ancora più lento a circa 200 cicli. Sebbene L1 sia incredibilmente veloce, è anche minuscolo. Gran parte della sua velocità deriva dal fatto che le cache più piccole richiedono meno tempo per la ricerca. L2 è più grande di L1 ma più piccolo di L3 che è ancora più piccolo della RAM di sistema. Bilanciare bene le dimensioni di queste cache è fondamentale per ottenere una CPU ad alte prestazioni. I rapporti di hit della cache sono importanti, ma è necessario bilanciare il numero di hit con il tempo necessario per ottenere quell'hit, quindi i livelli.

Memoria degli appunti

Si noti che la memoria dello scratchpad non rientra nella tradizionale gerarchia della memoria. Questo perché non viene utilizzato nella maggior parte delle CPU consumer. La memoria di Scratchpad è progettata per essere utilizzata come lo sarebbe uno scratchpad nella vita reale. Annoti informazioni temporanee che devi ricordare ma non è necessario archiviare effettivamente. La maggior parte delle volte una CPU elabora i dati e quindi ha bisogno di quel risultato immediatamente. Può copiarlo in memoria, ma per potervi accedere rapidamente dovrebbe anche tenerlo nella cache.

La memoria di Scratchpad essenzialmente riempie lo stesso vuoto della cache L1. È accessibile il più velocemente possibile, spesso con conteggi ciclici a una cifra. Per gestire questo, è anche relativamente piccolo. Tuttavia, ci sono due differenze fondamentali tra la memoria L1 e quella dello scratchpad. In primo luogo, la memoria dello scratchpad è indirizzabile direttamente. In secondo luogo, è condiviso tra tutti i core e processori.

Differenze tra cache e scratchpad

La cache della CPU è essenzialmente trasparente alla CPU, non può deliberatamente inserire dati lì e il suo contenuto non può essere programmato. Invece, la CPU richiede solo dati dalla RAM e capita di recuperarli più velocemente, a volte molto più velocemente di quanto potrebbe aspettarsi. Consentire allo scratchpad di essere indirizzabile significa che il codice può specificare esattamente quali dati dovrebbero essere nello scratchpad. Questo può essere utile, sebbene i moderni algoritmi di memorizzazione nella cache siano eccellenti con tassi di successo previsti del 95-97% nei carichi di lavoro standard.

La cache L1 è sempre bloccata su un singolo core di elaborazione. Nessun altro core di elaborazione può accedervi. Ciò significa che se più core necessitano degli stessi dati, possono duplicarli nelle rispettive cache L1. In alcune architetture di CPU, L2 è per core, in altre è condiviso da un piccolo numero o addirittura da tutti i core. L3 tende ad essere condiviso da tutti i core. La condivisione della cache tra i core consente a due o più core di accedere agli stessi dati senza duplicarli. Consente inoltre a un core di utilizzare più della sua giusta quota quando ne ha la necessità e la cache ha lo spazio.

Scratchpad si comporta in modo simile a L1 in termini di velocità e capacità, ma è condiviso tra tutti i core. Ciò consente un accesso molto rapido a dati specifici su cui si agisce in un carico di lavoro multithread. La memoria di Scratchpad può anche essere condivisa tra CPU distinte su schede madri multi-socket.

Uno svantaggio della memoria dello scratchpad è che si può fare troppo affidamento su di essa. Potendo accedervi direttamente, il software può fare affidamento sulla sua presenza in determinate quantità. In questo caso, non sarebbe quindi in grado di funzionare su CPU senza tanta memoria dello scratchpad. I livelli di cache semplicemente non soffrono di questo problema e quindi sono più adatti all'uso generico.

Casi d'uso

La memoria Scratchpad si trova più spesso nei sistemi server multi-socket progettati per HPC (High-Performance Computing). Lì, la sua combinazione di velocità e accesso condiviso lo rende utile per carichi di lavoro altamente paralleli.

La memoria di Scratchpad vede anche l'uso in processori molto più piccoli. Processori integrati, spesso MPSoC. Un processore integrato è spesso di potenza relativamente bassa ed è specializzato per un'attività specifica. Questa specializzazione è spesso rappresentata nelle ottimizzazioni hardware. Soprattutto in un sistema multiprocessore su chip, la memoria ad alta velocità condivisa può fornire significativi miglioramenti della latenza a più processori diversi. Questi tipi di CPU sono spesso molto fissi nel design. Le console di gioco, ad esempio, vedono già molte ottimizzazioni per la progettazione dell'hardware e quindi possono fare buon uso di tali funzionalità senza doversi preoccupare della compatibilità con le versioni precedenti o successive.

Conclusione

La memoria di Scratchpad è simile alla cache L1 ma presenta una serie di differenze che ne modificano i casi d'uso. Invece di essere una cache, è direttamente indirizzabile, consentendo di assegnare specificamente i dati a una memoria ad alta velocità. È inoltre condiviso tra tutti i core e i processori del processore, il che lo rende particolarmente utile nei carichi di lavoro fortemente multithread.