Zeer complete cluster van 2 Framework Desktops (AMD Ryzen AI Max+ 395 / Strix Halo) aangeboden

Ik verkoop dit zeer krachtige en stijlvolle paar Framework Desktops.
Alleen als gehele cluster te koop aangezien de randapparatuur los moeilijk te slijten is.

Deze machines zijn gewild vanwege hun combinatie van grote unified RAM capaciteit (128GB te verdelen tussen CPU en GPU), krachtige en zuinige 16 core / 32 thread CPU, degelijke 8060S RDNA3.5 GPU en energie-zuinige XDNA2 NPU, allemaal op 1 gemeenschappelijke APU die.

Naast de twee mini PCs zelf, bevat deze set de volgende accessoires:
- 2x Intel E810-XXVAM2 Network Interface Card, Dual-Port SFP28 (2 25G ports per kaart)
- 2x 4x -> 16x PCI riser
- 2x NVME -> Oculink adapter, 2x Oculink Cable, 2x Minisforum DEG1 OCulink eGPU Dock (externe GPUs uiteraard niet inbegrepen)
- 2x 1TB SN7100 NVMe - M.2 2280 SSD
- 2x USB front tile
- 1x USB-4 thunderbolt kabel

Met de twee NIC kaarten kun je LLMs zoals Minimax M2.7 in de engine vLLM met tensor parallelisme draaien, wat een behoorlijke snelheidwinst geeft ten opzichte van het pipeline parallelisme waar je met USB praktisch toe beperkt bent.

Ideaal te gebruiken met de volgende toolboxes en RDMA setup guide:
https://github.com/kyuz0/amd-strix-halo-toolboxes
https://github.com/kyuz0/amd-strix-halo-vllm-toolboxes
https://github.com/kyuz0/amd-strix-halo-vllm-toolboxes/blob/main/rdma_cluster/setup_guide.md

Kyuz0 gebruikt in zijn setup een krachtiger stel 100Gbe kaarten, echter is de PCI connectie beperkt to 64Gbps, en blijkt in zijn metingen dat de throughput meestal rond de 8Gbps ligt en af en toe spike't naar 20Gbps, dus deze kaarten vormen bij normaal gebruik ook geen bottleneck.

De twee Frameworks zijn een half jaar geleden ieder voor 2600 gekocht, dus in deze deal krijg je alle toebehoren gratis. De garantie loopt nog voor ongeveer anderhalf jaar. De huidige nieuwprijs per machine op de site van Framework is inmiddels vanwege de RAM schaarste gestegen naar 4000. Dus sla snel je slag als je dit soort hardware op het oog hebt.

(fotos van de accessoires volgen nog)