Wat is NUMA?

Als geld geen probleem is, kun je alle duurste pc-onderdelen voor consumenten kopen en een machtige pc bouwen om je e-mail te checken en door sociale media te scrollen. Dit is natuurlijk niet hoe de meeste mensen dingen kopen; het gaat er niet eens om hoe rijke mensen dingen kopen, want het is geen uitstekende manier om rijk te blijven . In plaats daarvan kijken de meeste mensen wat ze met een computer willen doen en zoeken dan een computer met geschikte hardware.

Op de thuismarkt is er een behoorlijke hoeveelheid keuze, maar als je eenmaal op de werkstation- en servermarkt bent, zijn er enkele nog krachtigere opties voor nog meer geld. De beste pc die je thuis kunt bouwen, ondersteunt bijvoorbeeld 16 cores ( of 24 als je de efficiëntiecores van Intel meetelt ). U kunt ook een krachtige GPU krijgen. Technisch gezien kun je meerdere krachtige GPU's krijgen, maar je kunt ze niet samen gebruiken omdat SLI/NVLINK in wezen dood is.

Op de server- en werkstationmarkt kun je veel meer cores in een CPU krijgen, tot 96 in AMD's EPYC-opstelling. U kunt ook GPU's krijgen met meer capabele verbindingen en meer VRAM. CPU-kernen zijn echter waar veel geld naartoe gaat, vooral in HPC- ( High-Performance Computing ), Hyperscaler- en Supercomputing-werelden. Dus, wat doe je als je meer dan 96 kernen in één computer nodig hebt? Voeg natuurlijk meer CPU's toe.

Moederborden met meerdere sockets

Je kunt natuurlijk niet zomaar een tweede CPU op een oud moederbord plaatsen; het zou nergens heen kunnen. Je hebt specifieke hardware nodig. AMD ondersteunt de mogelijkheid om twee van hun EPYC-server-CPU's op hetzelfde moederbord te plaatsen. Dat biedt in totaal 192 cores of 384 threads. De nieuwste server-CPU's van Intel hadden een maximum van 40 kernen, hoewel de vorige generatie een model met 56 kernen had. Intel ondersteunt echter tot 8 CPU's op één moederbord. Dat zijn 320 of 448 cores en 640 of 896 threads. Hoewel dit overdreven is voor het controleren van Instagram, kunnen sommige werklasten al deze pk's gebruiken.

Het probleem komt uit het geheugen. Vier dingen beperken over het algemeen CPU's. De eerste is een gebrek aan dingen om te doen; soms is de CPU gewoon niet geladen. Vervolgens heb je kracht, er is maar zoveel kracht die je kunt gebruiken voordat je de CPU begint te beschadigen, en er zijn limieten om ervoor te zorgen dat de CPU niet het risico loopt door te branden wanneer hij onder volledige belasting staat. Je hebt ook de nauw verwante temperatuurdruk, hoe meer stroom je gebruikt, hoe meer warmte je opwekt en moet afvoeren; oververhitting is net zo erg als te veel vermogen, want dingen beginnen te smelten. De andere beperking is geheugentoegang.

Een CPU heeft doorgaans veel gegevens nodig om veel verwerking uit te voeren. Dat alles wordt opgeslagen in RAM. Helaas is RAM behoorlijk traag in vergelijking met een CPU. Hierdoor kan het "eeuwen" inactief blijven voordat het de gegevens krijgt die het nodig heeft om te werken. CPU-cache helpt veel, maar het is zo klein dat het niet alles kan dekken, en het hoofdgeheugen moet worden gebruikt.

Geheugenlatentie

Om het effect van traag RAM-geheugen te minimaliseren, wordt het fysiek zo dicht mogelijk bij de CPU geplaatst. Daarom bevindt RAM zich altijd direct naast de CPU-socket op een moederbord. Maar wat gebeurt er als u meerdere CPU's op één moederbord hebt? Dan is er een andere toegangstijd voor een CPU om toegang te krijgen tot zijn geheugen in vergelijking met het geheugen ernaast. "Oh nee", zou je kunnen zeggen, "sommige herinneringen zijn iets langzamer." Maar dit is een reëel probleem dat een verrassend diepgaand effect kan hebben op de prestaties. Dit concept wordt Non-Uniform Memory Access of NUMA genoemd.

NUMA omvat het bieden van een mechanisme voor het besturingssysteem om te begrijpen dat hoewel het toegang heeft tot al het geheugen, sommige onderdelen voor bepaalde dingen de voorkeur hebben boven andere. Waar mogelijk slaat het besturingssysteem vervolgens gegevens op voor taken die op CPU1 worden uitgevoerd in het RAM-geheugen direct naast CPU1. Evenzo worden gegevens die nodig zijn voor een taak die op CPU2 wordt uitgevoerd, direct naast CPU2 in het RAM opgeslagen. Met beperkte RAM-capaciteiten en enorme datasets is het natuurlijk niet altijd mogelijk om binnen deze grenzen te blijven. Toch worden de beste inspanningen geleverd en hebben ze een aanzienlijke invloed op de prestaties.

Geheugentoegang via een enkel kanaal is ook sequentieel. Dit betekent dat wanneer twee verschillende CPU's toegang proberen te krijgen tot gegevens op hetzelfde kanaal, de ene direct is aangesloten op de DIMM en de andere NUMA wegspringt, het tweede verzoek niet alleen inactief moet wachten op zijn verzoek, maar ook op het verzoek van de andere. verwerker. Daarom moeten gegevens waar mogelijk worden opgeslagen in het RAM-geheugen direct naast de CPU die deze nodig heeft.

Conclusie

NUMA staat voor Non-Uniform Memory Access. Het is een term die wordt gebruikt in computersystemen met meerdere fysieke CPU's. Het verwijst naar het feit dat één CPU een andere geheugenlatentie heeft dan de RAM die er direct omheen ligt in vergelijking met de RAM rond een andere CPU. De extra latentie vermindert de systeemprestaties op meerdere manieren. NUMA is een manier om het besturingssysteem te informeren dat dit het geval is.

Hiermee kan het geheugengebruik en de gegevenslocatie worden geoptimaliseerd op basis van de CPU die de gegevens nodig heeft. Waar mogelijk worden alle gegevens voor de processen die op een CPU worden uitgevoerd, opgeslagen in het RAM-geheugen dat direct aan die CPU is gekoppeld. Wanneer de lokale RAM niet genoeg capaciteit heeft, kunnen gegevens overlopen in de RAM rond andere CPU's. Nogmaals, waar mogelijk wordt het aantal NUMA-hops geminimaliseerd om latentie te verminderen.