AMD Instinct MI350P heeft PCIe-formfactor en moet met Nvidia's H200 concurreren

AMD heeft de Instinct MI350P-gpu uitgebracht. Dat is een grafische kaart met een PCIe-formfactor, maar wel eentje die voor datacenters is gemaakt en bedoeld is om AI-modellen te kunnen draaien. Zo is de kaart zo ontworpen dat die makkelijk in luchtgekoelde racks kan worden geplaatst. De kaart heeft de helft van de prestaties van de MI350X.

De AMD Instinct MI350P is, net als de MI350X van vorig jaar, gebaseerd op de CDNA 4-architectuur en gemaakt op TSMC's 3nm-procedé, maar de hardware is ongeveer de helft zo krachtig als dat sterkere model. Zo heeft de MI350P de helft van het geheugen als het grotere model: de P haalt een maximale snelheid van 4TB/s. Het nieuwe model heeft ook de helft van het aantal compute-units en half zoveel L2-cache.

De MI350P is bedoeld voor AI-toepassingen en is daarom ook qua formfactor gericht op serverrackgebruik, zegt AMD. De dualslotkaart kan in racks worden gezet die door lucht worden gekoeld en is vooral een 'kosteneffectieve PCIe-kaart'.

In een enkel cluster kunnen acht MI350P's worden gekoppeld. Met een maximum van 4600tflops is de kaart voornamelijk bedoeld voor kleine tot middelgrote AI-taken, zegt AMD. De kaart kan in theorie 600W aan vermogen aan, maar kan worden teruggeschakeld naar 450W om op langere termijn beter te kunnen presteren.

Door de PCIe-formfactor heeft AMD voor het eerst een goede concurrent voor Nvidia's H200 NVL die ook voor vergelijkbare racks bedoeld is. Die heeft 141GB aan geheugen.

AMD Instinct	MI325X	MI350P (nieuw)	MI350X	MI355X
Architectuur	CDNA 3	CDNA 4	CDNA 4	CDNA 4
Productieproces	TSMC N5 / N6	TSMC N3 / N6	TSMC N3 / N6	TSMC N3 / N6
Compute-units	304	128	256	256
Prestaties fp16	1,3 pflops	1,15 pflops	2,3 pflops	2,5 pflops
Tdp	1000W	600W	1000W	1400W
L2-cache	256MB	128MB	256MB	256MB
Geheugen	256GB HBM3E	144GB HBM3E	288GB HBM3E	288GB HBM3E
Geheugenbandbreedte	6TB/s	4TB/s	8TB/s	8TB/s
Interface	PCIe 5.0 x16	PCIe 5.0 x16	PCIe 5.0 x16	PCIe 5.0 x16

Reacties (15)

[Dociler]

Kun je met zo'n kaart nou een beetje fatsoenlijk klooie met locale AI? Of heb je daar echt per se cuda voor nodig?

[imqqmi]

Ik denk dat je in een lucht circulatie systeem moet investeren, volgens mij zit hier geen fan in en is bedoeld voor server racks die zelf lucht door tunnels/kanalen en kaarten forceren.

[Damic]

Server fans kosten nu niet zoveel, ze maken wel veel herrie

[Jehare]

Met zon kaart kan je prima lokaal AI draaien. Men doet dit ook op de Arc B580 en ik draai persoonlijk zo nu en dan Gemma4 27b op mijn AMD 9070
Cuda is voor sommige toepassingen essentieel, maar die zitten meer in de development en render hoek. Het draaien van een standaard LLM (aka: inference) kan op elke architectuur wel. (Denk ook aan de Mac's die populair zijn voor AI, waar de GPU deel is van de soc en geen los VRAM in zit)

[Reactie gewijzigd door Jehare op 8 mei 2026 21:26]

[therazo]

Je kan tegenwoordig met AMD hardware prima werken aan AI toepassingen. Mainstream inference software zoals bijv. llama.cpp heeft gewoon support voor AMD HIP (https://github.com/ggml-org/llama.cpp).

Ook de "training" frameworks zoals Jax, PyTorch en TensorFlow ondersteunen deze AMD hardware (https://rocm.docs.amd.com/en/latest/how-to/deep-learning-rocm.html).

[Seth_Chaos]

Dat gaat uitstekend. Maar brengt natuurlijk wel een investering van 100.000 euro met zich mee.

[maartenvdk]

Mischien een hele domme vraag, ik weet dat dit voor grote server farms is gebouwd, maar kan je dit in je desktop stoppen als je een flinke AI capable desktop wil hebben? (even los van dat ze aleen per pallet geleverd worden)

[Sissors]

En los ervan dat ze voor $30k-$40k per stuk gaan.

[maartenvdk]

Haha, ja, ik ben nog niet naar paradigit gerend met mijn spaarvarken en beide nieren, ik was gewoon benieuwd.

[Reactie gewijzigd door maartenvdk op 8 mei 2026 23:11]

[Navi]

Nee de koeling is vaak niet voldoende. Ze moeten in een rackserver die met fans met zeer hoge static pressure en hoge toeren de lucht erdoorheen forceren.

[GewoonWatSpulle]

Goed verhaal maar voor 600 watt is twee stuks Blackwell nog steeds een betere deal voor iemand/een bedrijf die lokaal modellen wilt draaien. Dit is een oplossing voor de hele grote jongens die net achter het net vistte bij Nvidia en nu bij AMD een alternatieve oplossing krijgen.

edit:
ok misschien iets te kort door de bocht maar dit zijn geen chips die je per stuk afneemt maar in bulk, waar blackwell's workstation oplossingen bied is dit overduidelijk server farm territorium.

[Reactie gewijzigd door GewoonWatSpulle op 8 mei 2026 21:42]

[Martinspire]

Betere deal wellicht, maar als ze niet op voorraad zijn heb je er ook niks aan. En je wilt het ook niet bij een 1 of andere vage webshop halen want je wilt wel goed garantie kunnen claimen bv.

[Reactie gewijzigd door Martinspire op 8 mei 2026 23:01]

[mikeoke]

omdat er in artikel niets over prijs werd vermeld
en geen vergelijking tussen Enterprise/GPU/CPU AI performance heb ik dit gevraagd aan AI
(ik kan helaas geen tabel plaatsen in reactie)

Rank Device Peak FP8 TFLOPS (approx) Peak FP16 TFLOPS (approx) Memory Avg price (USD, indicative)
1 AMD Instinct MI350X ~4,800 TFLOPS ~2,400 TFLOPS 288 GB HBM3E $35,000–$60,000
2 NVIDIA H200 ~3,600 TFLOPS ~1,800 TFLOPS 141 GB HBM3E $30,000–$50,000
3 AMD Instinct MI350P ~2,400–3,000 TFLOPS ~1,200–1,500 TFLOPS 144 GB HBM3E $18,000–$30,000
4 NVIDIA RTX 5070 Ti (consumer) ~200–400 TFLOPS ~100–200 TFLOPS 12–16+ GB GDDR6/GDDR7 $500–$900 (MSRP)
5 AMD RX 9070 XT ~150–300 TFLOPS ~75–150 TFLOPS 16 GB GDDR6 $500–$800 (MSRP)
6 Intel Arc B580 ~20–80 TFLOPS ~10–40 TFLOPS 8–12 GB GDDR6 $200–$350 (street)
7 AMD Ryzen AI MAX+ PRO 395 (laptop SoC) ~50–200 TOPS (NPU, approximate FP8 equiv low) N/A (TOPS metric) System RAM (16–64 GB typical) $400–$900 (platform premium)
8 Intel Core Ultra X9‑388H (laptop SoC) ~30–150 TOPS (NPU, approximate FP8 equiv low) N/A (TOPS metric) System RAM (16–64 GB typical) $300–$800 (platform premium)

[lasermen]

Ik mis de RTX6000 blackwell server editie in je vergelijking.
Want dat zal de kaart zijn waar de MI350P het meest in concurrentie mee zal zijn in de praktijk.

[mikeoke]

hierbij met RTX6000 en alleen FP16 flops
ook maar de Apple M5 toegevoegd

1. AMD Instinct MI350X — ~2,400 | 288 GB HBM3E | $35,000–$60,000
2. NVIDIA H200 — ~1,800 | 141 GB HBM3E | $30,000–$50,000
3. AMD Instinct MI350P — ~1,200–1,500 | 144 GB HBM3E | $18,000–$30,000
4. NVIDIA RTX 6000 Blackwell — ~600–1,200 | 48–96 GB HBM3E | $8,000–$25,000
5. Apple M5 — ~200–600 | 16–128 GB unified RAM | $199–$2,000+
6. NVIDIA RTX 5070 Ti — ~100–200 | 12–16+ GB GDDR6/GDDR7 | $500–$900
7. AMD RX 9070 XT — ~75–150 | 16 GB GDDR6 | $500–$800
8. AMD Ryzen AI MAX+ PRO 395 — ~50–200 | System RAM 16–64 GB | $400–$900
9. Intel Core Ultra X9‑388H — ~30–150 | System RAM 16–64 GB | $300–$800
10. Intel Arc B580 — ~10–40 | 8–12 GB GDDR6 | $200–$350

[Reactie gewijzigd door mikeoke op 9 mei 2026 00:23]