Welke GPU's heeft uw bedrijf nodig voor AI in het eigen gebouw?

Elke taak heeft een standaard AI-belasting per gebruiker per werkdag: taken, modelaanroepen, invoer- en uitvoertokens, en voor sommige taken vergaderaudio, geïndexeerde tekst en herordende passages. Het drukste uur bepaalt de omvang: interactief werk piekt dan, werk dat een paar minuten kan wachten wordt over de dag gespreid en batchwerk draait 's nachts.

Per GPU en model rekent de calculator uit hoe snel de GPU vragen leest (begrensd door rekenkracht) en antwoorden schrijft (begrensd door geheugenbandbreedte en door het geheugen dat elk gesprek inneemt), waarbij elke gebruiker minstens de minimale antwoordsnelheid krijgt. Een model draait op zo weinig GPU's als het past, of op twee keer zoveel als dat per token goedkoper is.

Elk model in gebruik blijft geladen, dus hun gewichten tellen op in het GPU-geheugen. Het aantal GPU's is het hoogste van wat het geheugen, het drukste uur en de nachttaken vragen. De goedkoopste GPU per maand, hardware afgeschreven plus stroom, wordt geadviseerd.

De methode is op 20 okt 2026 getoetst aan de door NVIDIA gepubliceerde TensorRT-LLM-doorvoer op de RTX PRO 6000 Blackwell Server Edition: voor een mixture-of-experts-model zit hij er 1 tot 7% naast, en voor een dense 70B-model blijft hij 20 tot 28% onder de gemeten waarde, dus aan de veilige kant.