Ja helemaal met je eens. Maar dat komt door de software van Nvidia (CUDA) nog altijd het beste is, maar Apple AMD en andere zijn nu eigen software aan schrijven voor de eigen chips. Ik heb het voorgelegd aan AI (ik heb geen tijd gestoken om mogelijk hallucinates eruit te halen).
1. Apple Silicon (M-serie)
Apple gebruikt een volledig eigen ecosysteem en deelt hardware-VRAM (Unified Memory), wat ideaal is voor grote AI-modellen.
- Apple Metal & MPS (Metal Performance Shaders): Dit is Apple’s directe tegenhanger van CUDA. Grote AI-frameworks zoals PyTorch en TensorFlow ondersteunen dit standaard (device='mps').
- Apple MLX: Een open-source machine learning framework dat specifiek door Apple is gebouwd voor Apple Silicon. Het bootst de API van NumPy en PyTorch na, maar draait extreem snel direct op de Metal-architectuur.
2. AMD Radeon (Instinct & RX-videokaarten)
AMD zet vol in op een open-source ecosysteem om de achterstand op NVIDIA in te halen.
- AMD ROCm (Radeon Open Compute): De directe concurrent van CUDA. Inmiddels is ROCm (versie 7.x) zeer volwassen geworden en draait het naadloos met PyTorch, Ollama en Hugging Face op Linux en Windows.
- HIP (Heterogeneous-compute Interface for Portability): Een cruciaal onderdeel van ROCm. AMD levert hiermee de tool HIPIFY, waarmee ontwikkelaars bestaande CUDA-code automatisch kunnen omzetten naar code die op AMD-kaarten draait.
- AMD Lemonade SDK & AI Bundle: Recent uitgebrachte toolkits om het lokaal draaien en ontwikkelen van AI op zowel AMD-systemen als macOS (met ROCm-integratie) sterk te vereenvoudigen.
3. Universele & Cross-Platform Platformen
Als je code schrijft die onafhankelijk van het merk videokaart (Apple, AMD, Intel, NVIDIA) moet werken, gebruik je deze cross-platform abstractielagen:
- ONNX Runtime (Open Neural Network Exchange): Een universele runtime (gestart door Microsoft en Meta). Je traint een model in een framework naar keuze en de ONNX-runtime zorgt via Execution Providers (zoals DirectML voor Windows/AMD, of CoreML voor Apple) dat het optimaal op de lokale GPU draait.
- Llama.cpp / Ollama: Specifiek voor LLM's (zoals Llama 3 en Mistral). Deze frameworks zijn volledig in C/C++ geschreven en praten direct met de hardware-backends (Metal op Mac, ROCm op AMD, CUDA op NVIDIA), waardoor je direct uit de doos hardware-acceleratie hebt zonder CUDA-omgeving.
- Vulkan & WebGPU: Vulkan (opvolger van OpenCL) wint terrein voor algemene GPU-berekeningen. In webbrowsers en lichte runtimes (zoals Google's LiteRT.js) zorgt WebGPU ervoor dat AI-modellen direct op de hardware van AMD of Apple accelereren via de browser
[Reactie gewijzigd door doldrums op 15 juli 2026 22:19]