Microsoft wil AI meer lokaal laten draaien en agents afkaderen in containers

Microsoft kondigt tijdens het Surface-evenement verschillende nieuwe functies voor 'hybride' AI aan, waarbij AI-toepassingen gedeeltelijk lokaal draaien in plaats van in de cloud. Daarnaast breidt het bedrijf de beveiliging en afkadering van agents uit.

Tijdens de presentatie en in de bijbehorende blogpost benadrukt Microsoft meermaals het 'hybrid intelligence'-principe. Dit beschrijft het combineren van lokale AI- en cloud-AI-toepassingen, afhankelijk van de taak. Dat moet volgens het bedrijf voorkomen dat gebruikers meer van hun AI-budget verbruiken dan bedoeld.

Dit principe wordt ook in de Copilot-dienst geïntegreerd. Zo moet de AI-tool lokaal met bestanden werken, Windows besturen en programmeren met lokale modellen. Op dit moment worden bepaalde lichte taken al lokaal uitgevoerd. Het is onduidelijk welke taken precies lokaal of in de cloud uitgevoerd moeten worden.

Ook de AI-agent Autopilot wordt meer lokaal gedraaid. Microsoft geeft als voorbeeld een verzoek aan de agent om te helpen bij belastingaangiften. De agent zoekt in mails, doorzoekt gedeelde documenten, verplaatst documenten naar een nieuwe map en stelt een e-mail aan een accountant op. Dit gebeurt met verschillende lokale en cloudgestuurde AI-tools.

Tot slot maakt Microsoft Execution Containers nu beschikbaar voor gebruikers van Windows 11. Hiermee kunnen beheerders een afgekaderde omgeving ontwerpen waarin een agent kan opereren. Dit moet de mogelijkheden van agents begrenzen en daarmee het gebruik van deze autonome AI-tools veiliger maken. Agents van OpenAI, GitHub, Nvidia, OpenClaw en Microsoft zelf ondersteunen deze containers al. Later komen daar onder meer Anthropic en Perplexity bij.

Reacties (74)

[Nozmordre]

Eindelijk aan het beseffen dat veel van hun klanten hun extreem gevoelige data niet in hun cloud willen gooien en dat ze moeten aanpassen of die klanten verliezen aan compleet self-hosting.

[Mellow Jack]

Haha grappig. Nee joh, erachter komen dat veel van hun klanten enorme kosten maken door het gebruik van grote modellen terwijl 95% van de situaties voldoende hebben aan kleine lokale modellen (icm SharePoint en Bing api's).

Dus zo helpen ze hun klanten kosten te besparen en locken ze hun klanten nog dieper in hun ecosysteem.

[Geekomatic]

Jah, deze ogenschijnlijk "klantvriendelijke" move doen ze nu omdat ze met Copilot de slag verloren hebben, en dit een achterdeur is om verzoeken alsnog naar Copilot te redigeren.

Dus iets als: "Copilot vond dat uw verzoek te moeilijk was voor Copilot-lokaal, dus heeft Copilot zelfstandig besloten om uw vraag naar Copilot-cloud te redigeren, wat u als Copilot klant wel Copilot-credits kost, uiteraard.".

[pagani]

Welke slag hebben ze verloren dan? Als het om zakelijk grootverbruik bij Europese spelers gaat is copilot praktisch alleenheerser, niemand gebruikt chatgpt of Claude vanwege het gebrek aan Europese opslag (of, beter gezegd, het feit dat ome Trump bij al je data kan)

[GeroldM]

Copilot word hier nog lager gewaardeerd dan Grok voor codering taken. Of planning taken. Of testcase generatie. Of Q&A taken.

Grok word hier weggelachen. Processen/agenten die prima en betrouwbaar zijn met Claude en/of OpenAI, falen verschrikkelijk met Grok. En leiden tot nog meer onzin van CoPilot.

Microsoft Azure is een hyperscaler. Hyperscalers zitten nu in grote financiele problemen vanwege AI. Microsoft alleen heeft al ruim 260 miljard USD geinvesteerd in AI. De gehele AI industrie heeft sinds 2022 tot nu rond de 35 miljard aan daadwerkelijke inkomsten gegenereerd. Amazon AWS en Google hebben ook al honderden miljarden aan USD in AI gepompt, net zoals Oracle.

Door dit gebrek aan inkomsten en hun nood om datacenter-capaciteit uit te breiden zodat zij aan de contracteisen, aangegaan met OpenAI en Anthropic, kunnen voldoen. En dat moet gebeuren met geld dat zij moeten lenen op de internationale markten van schuldverleners.

Deze markten kennen elk bedrijf en natie een status toe, welke bepaalt tegen welke voorwaarden en voor hoelang zij geld mogen lenen. Alle hyperscalers zitten 1 tot 2 stappen boven de slechtste status, gelabeled: 'junk'. Dat komt door te weinig intrinsieke waarde en investeringen in 2026 die hoger liggen qua kosten dan al hun andere inkomsten uit al hun andere cloud-diensten. En dat gaat "vrolijk" verder in 2027 en 2028.

De meeste nieuwe datacenters die nu in aanbouw zijn, gaan zoveel geld kosten aan afschrijvingen en rente dat deze in hun functioneel "leven" van zo'n 20 jaar geen winst meer kunnen maken.

Hyperscalers houden de komende jaren hun net wat betere status dan 'junk'. En ja, ook Microsoft Azure en Google's datacenter tak zijn maar 2 stapjes van 'junk' verwijderd. Oracle staat sinds deze week nog maar 1 stapje boven 'junk'. Oracle in zijn geheel staat er financieel al slecht voor, maar hun datacenter-tak is zwaar en zwaar verrot.

Het zal Microsoft eraan gelegen zijn om alle onrust over hun AI diensten te verhullen voor wie het niet wil weten of zo goed mogelijk wil praten voor investeerders en bedrijven die wel verder kijken dan hun neus lang is. Maar het gaat helemaal niet goed in hyperscaler-land en de backend die hen in staat stellen jou (en/of het bedrijf waarvoor je werkt) hun AI-produkten te verkopen.

Het is niet voor niets zo dat zelfs NVidia voor enkele honderden miljarden USD aan garanties heeft moeten verlenen omdat hyperscalers anders geen nieuwe datacenters meer kunnen bijbouwen.

Deze berichtgeving is er al lang via de kanalen waar ik mijn nieuws door krijg, maar zelfs Tweakers meldde al van NVidia's garanties voor de bouw van datacenters. De meeste personen hier op deze site zullen dat soort berichten maar voor lief nemen. Men bericht liever over tariefswijzigingen en/of aantallen tokens in een abonnement en hoeveel dat kost.

Financieel gezien staan AI bedrijven en hyperscalers er zeer slecht voor. En dat staan ze al voor een maand of 2. En dan hebben we het nog niet gehad over de IPO die Anthropic in November heeft gepland. OpenAI heeft hun IPO al tot in 2027 uitgesteld. Dan verwacht ik dat de hele boel losslaat en we OpenAI en Oracle gaan verliezen terwijl Anthropic in handen van de overheid in de VS terecht komt. Microsoft Azure, Amazon AWS en Google gaan flinke klappenoplopen, maar niet zo'n flinke dreun als NVidia voor zijn kiezen zal krijgen.

Microsoft en Google hebben nog andere inkomstenbronnen, dus zullen er flink gehavend uitkomen. NVidia daarentegen, 90% van al hun inkomsten komen uit AI. Hun gaming GPU tak is gereduceerd tot een afrondingsfout, ook al betaal je tegenwoordig voor een RTX5090 ruim 5000 Euro.

Nee, je doet er beter aan jezelf te verdiepen in hoe je de beste open weight modellen zo snel mogelijk (qua performance) op je eigen hardware of op de hardware van een VPS aanbieder kan laten draaien en op die basis verder te bouwen aan je AI processen/agenten/harnassen.

En na het lezen van het artikel denk ik dat Microsoft dit langzaam aan ook in begint te zien.

[CrazyBernie]

Met alle respect alle hyper scalers zitten vlak boven junk niveau met hun leningen? Waar haal je die onzin vandaan.

Microsoft zit nog op AAA (de hoogste mogelijke waardering).
Google op AA+
en Amazon op AA-
Met de verwachting dat zelfs bij 0 omzet ooit uit AI de huidige verwachte investeringen van deze 3 ze niet in de problemen zullen brengen omdat hun freecashflow uit de operatie gewoon weg gigantisch is. Voor Google en Microsoft geld zelfs dat hun totale schuld en verwachte schuld voor 2027 minder is dan de cashflow over boekjaar 2026 en nog veel belangrijker 2024 (het jaar voordat de AI boom begon) dus die gaan echt niet in de acute problemen komen.

Tuurlijk voor toeleveranciers zoals Nvidia , Intel , AMD en anderen ligt het echt heel anders maar de klassieke hyper scalers(daar horen Oracle, IBM , Coreweave , Spacex en anderen niet bij) kunnen dit gewoon hebben zullen alleen een aantal jaren weinig winst maken omdat ze hun investeringen moeten afwaarderen en dus zal de beurskoers flink naar beneden gaan. En ze hebben als bij effect een paar grote voordelen hun klassieke concurrenten zijn op basis van AI contracten ook in hun markt gestapt maar missen de jarenlange expertise voor een compleet aanbod. Dus when all is said and done kan het eigenlijk niet misgaan voor de klassieke hyperscalers ofwel concurrenten zoals Oracle en IBM komen in de financiele problemen en moeten daardoor markten verlaten ofwel hun investeringen betalen zichzelf uit. In beide gevallen hebben ze het voor de lange termijn goed gedaan.

[Wim Cossement]

Ah, iemand die die ratingbureaus gelooft? Die zijn zo rot als wat, en medeverantwoordelijk voor de crisis van 2008, door rommelkredieten als AAA of AAA+ te bestempelen.

https://bfi.uchicago.edu/wp-content/uploads/Mortgage-Backed-Securities-and-the-Financial-Crisis-of-2008_A-Post-Mortem-1-1.pdf

[Left]

Zo te horen heb jij de kennis in huis om miljonair te worden, als jij het beter weet dan de ratingbureaus.
Ik zou zeggen, zet je geld aan het werk en ga direct Microsoft en Google shorten!

[Wim Cossement]

Neen hoor, ik heb geen geld voor die onzin en shorten zo sowieso moeten verboden worden want het is een kanker.
Kijk naar Blackrock en GameStop, die gasten deden ook wel heel erg huilie huilie toen de massa hetzelfde spelletje begon te spelen.

Het is gewoon afgesproken spel en gemanipuleer eerste klasse.

[PolarBear]

Ok maar kan je op basis van de genoemde cijfers dan iets zeggen over de slechte staat van Microsoft?

[Wim Cossement]

Hun AI en Windows versies trekken op geen kloten?

Ze hebben meer dan 300 miljard in AI gestoken en er nog maar 22 terug kunnen uithalen?
https://isaiprofitable.com/

En de top neemt de laatste jaren altijd precies de slechtste beslissing?

[CrazyBernie]

Zoals al aangeven is het iets anders of de ai business aan zich winst gevend is (dat is niet zo op dit moment) en of de bedrijven die erin investeren daar problemen van gaan onder vinden.

[MSalters]

Als je claimt dat alle hyperscalers bijna een junk rating hebben, dan is dat een feitelijke claim. Hebben ze een B rating, ja of nee?

Feit is dat ze geen B rating hebben, geen BB, geen BBB of zelfs maar een A. Elke hyperscalar heeft een AA rating of beter. Beter dan Italië of Frankrijk.

[CrazyBernie]

Gaat toch niet alleen om de ratings ik geef ook netjes aan dat de vrije cashflow zo hoog is dat de grote 3 dit makkelijk kunnen betalen. En dat in hun geval de ratings echt wel kloppen als je naar hun cijfers kijkt.

En Microsoft neemt echt wel goede beslissingen anders zou het bedrijf al lang aan de verkeerde kant van de streep moeten zitten.

[Croga]

Copilot word hier nog lager gewaardeerd dan Grok voor codering taken. Of planning taken. Of testcase generatie. Of Q&A taken.

De twee hebben geen enkele relatie met elkaar.
Copilot is een schil, Grok is een model. Copilot kan Grok draaien maar ook ieder ander willekeurig model, inclusief een lokale Ollama.

Copilot laag waarderen is dan ook het meest onzinnige wat je kunt doen wanneer je modellen vergelijkt. Copilot heeft als gigantische voordeel dat het juist on-the-fly van model kan wisselen; iets wat bij Claude Code, bijvoorbeeld, niet mogelijk is omdat die alleen Anthropic modellen ondersteunt.

[tweakuwe]

Copilot word hier nog lager gewaardeerd dan Grok voor codering taken. Of planning taken. Of testcase generatie. Of Q&A taken.

Maar er is meer dan coderen. Vanwege alle ‘enterprise garanties’ die MS bij Copilot bied zie ik veel bedrijven en overheden een AI beleid hebben waarin medewerkers alleen copilot mogen gebruiken. Eigenlijk zie ik vier varianten:

1. Vrij AI gebruik naar keuze
2. Een paar zeer specifieke geintegreerde AI tools
3. Alleen copilot voor algemeen gebruik en soms nog wat specifieke integraties
4. Geen AI

Programmeurs zijn maar een paar procent van de beroepsbevolking, IT’ers als geheel vormen zo’n 6% volgens het CBS. Dat is een niche. Weliswaar een niche met een bovengemiddeld AI gebruik maar niet zo dominant dat ze bepalend zijn voor welk AI aanbod dominant is in Nederland.

[Skywalker27]

Ik draai lokaal gewoon Gemma en Qwen en dat werk prima waarvoor ik het gebruik. De M5 max trekt dat prima. Ik denk dat Apple straks nog wel eens heel goed uit de AI race kan komen door dit zoveel mogelijk lokaal te laten draaien. En waar nodig hun cloud gebruikt icm iCloud abo.

[YGDRASSIL]

Ik wilde een stevige M5 Ultra bestellen voor lokaal AI draaien. Levertijd februari en 20.000 euro

[Skywalker27]

Ja die prijzen dat wordt wel een dingetje.

[n4m3l355]

Het grootste risico is de enorme garanties die iedereen met elkaar is aangegaan. Er is voor 1.4 trillion off balance aan leningen uitstaand. Nvidia die een aparte vehicle opzet om gpu's onder te brengen en vervolgens deze uitleent. SpaceX die afschrijvingen weer terug haald alsof ze nog steeds on balance zijn. Openai die belachelijke toekomstige ai omzetten verzint op het niveau van de wereld economie. Het is allemaal door en door verziekt en ook nog eens volledig ondoorzichtig. Grappen die Enron deed qua boekhouding zijn de norm bij SpaceX.

En als die allemaal omvielen, mooi toch, ze verdienen het. Maar jou pensioen, jou ETFjes enz zitten er ook allemaal onvrijwillig in. Dit wordt een blamage waarbij 2007-2008 nog peanuts mee was.

En de overheid, die staat erbij. De toezichthouders in de EU en de VS vinden het best. Trump staat Musk en zijn boeven gezellig af te rukken. Maar drie maal raden wie dit allemaal weer gaat betalen. Miljardairs blijven miljardairs en wij mogen bloeden.

[rapture]

Ik ben benieuwd waar je de bond ratings gezien hebt en wat voor constructies dat de bedrijven gebruiken voor Off-Balance Sheet Financing.

Ik heb op TradingView de bond ratings (S&P, Fitch, Moody's) en yields opgezocht.

Oracle: BBB- BBB Baa2
BBB- is inderdaad vlak boven de lat tussen investment grade en junk.
De yield to worst van 20 bedrijfsobligaties is groter of gelijk aan 8%.
Als je met obligaties het rendement kan krijgen dat je van het passieve indexbeleggen op de lange termijn verwacht, dan moeten het wel riskante bedrijfsobligaties zijn.

Microsoft: AAA _ Aaa
Dat is betrouwbaarder dan Amerikaanse staatsobligaties.
Hun hoogste yield to worst is groter of gelijk aan 6%. Dat is ietsje meer rendement dan Amerikaanse staatsobligaties (die op de Amerikaanse beurs als risk free rate of zo veilig als een spaarrekening behandeld wordt).
In de IBKR trading software zie ik dat hun meest recente obligatie-uitgifte in 2024 was. Het is goed dat ze niet aan de lopende band obligaties uitgeven.

Amazon: AA AA- A1
Hun hoogste yield to worst is 7%.
In het verleden haalden ze geld met obligaties een keer per meerdere jaren en soms haalden ze jaarlijks geld op. In IBKR zie ik dat ze dit jaar al 6 keren met obligaties geld opgehaald hebben.

Alphabet (Google): AA+ _ Aa2
Hun hoogste yield to worst is boven 7,0%.
Voor 2025 haalden ze een keer geld per vele jaren op en het interval lijkt op de lengte van een autoleasecontract. Dit jaar hebben ze al 6 keren bedrijfsobligaties uitgeven.

7% yield is niet zo slecht als Oracle, maar ook niet zo veilig als 6% bij Microsoft.

Ik zie dat ze creatief geld kunnen ophalen. Ze geven bedrijfsobligaties in AUD, GBP, EUR, CHF, CAD,,... uit. In de landen waar de inflatie en rentes lager zijn, kunnen ze goedkoper geld ophalen en ze hebben ineens de juiste valuta voor de lokale bedrijfsvoering en datacenters bouwen/runnen.

Ze kunnen ook via municipal (gemeentelijke) bonds geld ophalen.

The bond operation, arranged by Goldman Sachs and rated Aa2 by Moody's, marks the first time a hyperscaler has borrowed through municipal securities. The California Community Choice Financing Authority issued the notes, with the proceeds directed to Alphabet. Demand was extraordinary: roughly 100 institutional investors placed orders totaling over $10 billion, nearly nine times the deal size. Franklin Templeton analyst Jennifer Johnston described the structure on CNBC’s "The Exchange" as a potential blueprint for other tech giants facing the same challenge — securing affordable, long-term electricity for their AI infrastructure.

The financing model flips conventional roles. Normally, municipal entities buy energy forward and supply it to companies, with banks and insurers providing the capital. Here, Alphabet sits on the receiving end, using the funds to lock in power supply for its expanding fleet of data centers. Market observers see the deal as a template that Microsoft, Amazon, and Meta could adopt, given they collectively plan more than $300 billion in data center investments. The bond issuance came shortly after Alphabet’s record $85 billion equity raise, also led by Goldman Sachs, underscoring how critically the company views energy security as a bottleneck for AI growth.
https://www.ad-hoc-news.d...ry-clouds-gather/69774372

Normaal gezien kopen gemeentelijke/stedelijke entiteiten (groepsaankopen, aankoopcentrales) elektriciteit met geld dat ze ophalen (banken en verzekeraars investeren hierin) en verdelen het aan de gebruikers.

De rollen worden omgedraaid, Alphabet is de grootgebruiker die een gemeentelijke/stedelijke entiteit gebruikt om geld op te halen voor het kopen van elektriciteit voor de datacenters. Je kan tegenwoordig aan een (semi)overheidsinstelling vragen om voor jou geld te lenen om grote hoeveelheden elektriciteit voor jouw (toekomstige?) datacenters op te kopen. Toch wel handig om de schulden buiten de boeken te houden en niet je eigen cash geld inzetten voor het kopen van elektriciteit.

Ik spreek je niet tegen. Aan de lopende band bedrijfsobligaties uitgeven, bond yield komt dicht bij lange termijn rendement van passieve indexbeleggen en schulden voor het kopen van elektriciteit in semioverheidsinstellingen verstoppen zijn geen goede dingen. Hoe meer ze richting "leveraged/jacked to the tits" (zo diep in de schulden of geleend geld zitten en onderwater staan) gaan, hoe riskanter.

[Reactie gewijzigd door rapture op 9 oktober 2026 00:44]

[StGermain]

Ik ben een leek op het gebied van grote financiën, vandaar mijn vraag dus. Hoe gaat Nvidia de zwaarste klappen krijgen terwijl het momenteel juist de enigen zijn die geld verdienen aan heel de AI bubbel?

[Wim Cossement]

https://isaiprofitable.com/

Enkel de chipmakers profiteren...

[andrik1]

Dat is geen goed argument. 'Ome Trump' kan ook bij jouw Azure omgeving waarin je copilot draait. Zolang het een Amerikaans bedrijf betreft, is je data onderhevig aan de Cloud-act, dus ongeacht of je data in Europa staat.

Ik kan het niet hard onderbouwen maar ik heb diverse berichten gelezen dat Copilot helemaal niet populair is en de adoptie ver achter de verwachtingen blijft. Mede omdat MS het in elk product duwt ook waar het eigenlijk niet goed werkt of iets toevoegt en om de haverklap de strategie m.b.t. Copilot aanpast. Mensen kiezen JUIST voor ChatGPT of Gemini dat veel meer naamsbekendheid geniet. Dus ja, MS heeft de slag met Copilot idd verloren, m.i.

[FreezeXJ]

Ome Trump kan er prima bij, maar in de regeltjes van de EU-tak van Azure staat dat hij dat niet mag. Dat die regels onder druk van de Amerikaanse justitie aan de kant gaan wordt vakkundig genegeerd, want anders kunnen we sinds de Patriot Act al geen zaken meer met de USA doen, en dat willen we ook weer niet. Dus zo lang het politieke circus niks zegt en doet, accepteren we de 'garanties' van Amerikaanse bedrijven met een Europese tak. Volledig gecertificeerd. Gaat het mis, dan wist iedereen het al, maar goed, dat zien we dan wel weer. Eerst even kijken wat de AI ervan zegt.

[CapnCrinkle]

Ik reageer niet op of Copilot "alleenheerser" is of niet, maar "vanwege het gebrek aan Europese opslag" is niet per sé waar, toch?

OpenAI geeft met Enterprise en EDU standaard EU-based opslag.

Met developer subscriptions is exclusief EU opslag een option (kwestie van een vinkje aanvinken).

OpenAI serves users in the European Economic Area (EEA) and Switzerland through its Irish entity, OpenAI Ireland Limited, which acts as the primary data controller.

Anthropic biedt geen eigen EU data residency.

Wat dat betreft is er dus nagenoeg geen verschil tussen OpenAI en Microsoft, toch?

En als je denkt dat de VS niet bij onze data kan vanwege wat op papier geschreven beloftes heb ik ook droevig nieuws voor je...

[MSalters]

Claude op AWS is overigens wel EU resident.

[NoTechSupport]

Als je denkt dat ome Trump niet bij je Europese MS-data kan ben je heel naïef. MS moet en zal samen werken met Amerikaanse geheime diensten.

[CP1977]

Maar dat is bij Microsoft echt niet anders, data daarin is gewoon op te vragen door trump en friends hoor. Maakt voor dat geen enkel verschil.

[jabwd]

hier waren ze al achter gekomen met ML in het verleden en dat apple een punt had met on-device processing.

Het verschil met dit is dat een hype bubbel nodig is omdat men niet wil toegeven dat ze geen nieuwe groei meer hebben. Je kan je office365 maar zoveel omhoog blijven krikken om die lijn naar boven te laten gaan. Het gaat nog even een tijdje erger worden jammer genoeg.

[Skit3000]

Of andersom; dat het Microsoft geen geld kost als klanten hun eigen hardware inzetten voor simpele taken.

[Blorgg]

Of andersom; dat het Microsoft geen geld kost als klanten hun eigen hardware inzetten voor simpele taken.

Of omdat Microsoft $80 miljard aan GPUs heeft die het niet kan gebruiken omdat het stroomnet dat niet toelaat en dit een van de weinige manieren is dat ze nog verder kunnen schalen?

[Triblade_8472]

Ik gok eerder dat ze de stroomkosten niet willen betalen. En klanten de stroomkosten van AI dekkend laten betalen, laat staan winst te maken dat lukt ze niet echt vermoed ik.

Ik vraag mij sterk af of AI bedrijven echt zoveel winst maken allemaal, of dat het voornamelijk boekhoud kundige truukje zijn en veel geleend geld. Als ik een gok mag maken, dan staan ze allemaal aardig onder water. Als dat zo is, dan is dat een giga bubbel die een keer moet klappen.

[GeroldM]

Microsoft is al lang van plan om de oude (afgeschreven/afgekeurde/falende) nuclear plant 'Three Mile Island' weer in het leven te schoppen voor de prik in hun datacenters die er in de buurt liggen.

Als ik het goed begrepen heb, gaat dat bij lange na niet zo voorspoedig dan gehoopt.

Aan het willen betalen zal het denk ik niet liggen. Maar dat het simpelweg niet lukt. Of in elk geval niet snel genoeg.

[tweakuwe]

Dat gaat om een reactor die net geen 800 MW kan leveren als ik mij niet vergis. Daar kan je flink wat datacenters aan hangen, maar lang niet genoeg voor de AI behoeftes van de grote bedrijven.

Nieuwe grote datacenters die in Nederland willen landen vragen elk zo’n 100-150MW per stuk.

[Marve79]

Lokaal / on-prem wordt weer de toekomst. Eerst was het cloud hier cloud daar en nu gaat alles weer terug

[Boy]

Ik denk eerder dat het vooral op de computer zelf gaat draaien; computers worden krachtiger, LLM's efficiënter.

[Bossie]

Zou tijd worden ook, de NPU in mijn laptop wil ook een keertje iets te doen hebben.

[FreezeXJ]

Tja, iedere chip is uitgerust met zo'n Nutteloze Processing Unit, maar tegen de tijd dat je em kunt gebruiken is hij alweer verouderd, en moet je toch weer een nieuwe laptop kopen. En zelfs al heb je em, dan nog bereik je dus weinig als je niet ook een sloot werkgeheugen hebt.

[rammes]

Ja heerlijk, van mainframes, naar on-prem server based, naar private/public cloud en weer naar on-prem. Als It'er gelukkig nooit om werk verlegen ;-)

[Honytawk]

Werk zekerheid noemen ze dat

[squareware]

Cloud... eerst alles nog even op de blockchain.

[Ruuuuuubje]

Goed punt, blockchain AI producten, een mooie nieuwe hoek van de bubbel.

Is vast wel iets omheen te bedenken om de huidige zorgen van een AI bubbel door middel van blockchain weg te nemen. Beetje gebakken lucht om Trump mee te krijgen, en maar binnen lopen...

edit:
Ach laat ook maar, al talloze bedrijven die dit verkopen als een geweldige oplossing die ik niet zag...

[Reactie gewijzigd door Ruuuuuubje op 7 oktober 2026 23:49]

[Misterven1]

Ja, ik ben ook op zoek naar laptops met AI-processor waar ik ook AI lokaal wil gebruiken voor afbeeldingen te creëren, en die ook niet meer in de cloud hoeven. Ik dacht aan een laptop met Snapdragon (ARM-chip), wat ook prima goed werkt. Echter, het is ook wel aan de hoge kant met prijzen, wat het ook verschillend maakt. Maar toch worden ze in de toekomst goedkoper. Wel goed dat MS AI meer lokaal wil draaien, wat ons veel meer privacy biedt.

[TMC]

LLM's op je eigen laptop draaien lijkt me een kansloze zaak, tenzij je genoegen neemt met hele beperkte modellen met kleine context windows en lage token rates.

[Exirion]

Ik denk dat je een beetje achterloopt met je beeld van de stand van zaken m.b.t. beschikbare open weight modellen en wat die kunnen leveren op bereikbare hardware. Toegegeven, daar hangt wel een prijskaartje aan.

[TMC]

Nee ik loop niet achter. Voor simpele vragen is het oke, maar meer dan dat niet.

[SkoolieDie]

Het gaat idd erg snel, met Strata kun je nu qwen3.8 Flash Next , een 125b model, op een 16gb VRAM en 64GB RAM systeem draaien met acceptabele snelheid. (flinke quantisering dat wel).

In de 5 maanden dat ik nu lokaal llm's gebruik is er ongelooflijk veel veranderd, vooral in de slimmigheden om grotere modellen op beperkte hardware te kunnen gebruiken.

Maar op een niet zware gamers/spark laptop? Vergeet het maar. Lichte voice STT en TTS modellen, OCR model etc. is het enige wat ik gebruik. Op de iGPU want op cpu wordt het stomen en blazen. Kleine modellen als gemma 4 4b zijn te onbetrouwbaar en nutteloos voor echt werk.

Ik heb een licht laptopje aan een monitor waar ik op werk, verbonden over Tailscale vpn met mijn PC die het zware werk doet.

[Exirion]

We hebben het over verschillende platformen denk ik. Microsoft zet nu in op het RTX Spark platform, wat technisch vrijwel identiek is aan de DGX Spark gebaseerd op de Nvidia GB10 met tot 128GB unified memory (273GB/s). Zelf heb ik een Apple M5 Max 128GB systeem (600GB/s), en zoals je zegt: in korte tijd zijn er enorme sprongen gemaakt.

In april kwam Gemma 4, en voor algemeen gebruik doet dat veel dingen beter dan ChatGPT nog maar kort geleden. En dan doel ik uiteraard op 26B (MoE, A4B) en 31B (dense). Voor coding waren Qwen 3.6 en specifiek Qwen3 Coder Next (80B0) al populair. De introductie van Qwen 3.8 27B heeft daar nog een schepje boven gedaan. Voor mensen met een Nvidia GPU (met beperkt geheugen) het summum voor technisch werk. Voor velen goeie ondersteuning bij hun werk, voor sommigen zelfs een middel om hele projecten bij elkaar te vibecoden.

Voor mensen met voldoende geheugen zijn de koningen momenteel: Qwen 3.8 Flash Next, DeepSeek V4 Flash 0731, en GLM 5.3 Flash. Helaas is DeepSeek V4.1 Flash een grotere uitdaging omdat het (bruto) fors groter is dan V4. Wel leent de architectuur zich goed voor expert streaming, een fenomeen dat steeds meer toegepast wordt. Ook de engram die van SSD gelezen kan worden is een plus. Fijn bij de DeepSeek V4 generatie is ook dat experts native op 4-bit getraind zijn. Het leent zich ook goed voor verdere quantization, dus DS4 performt bij <100GB goed. En dan heb je voldoende headroom voor context en tooling.

Bij de Nvidia platformen zit je in een goed uitontwikkeld CUDA-ecosysteem. Bij Apple worden nog grote sprongen gemaakt. De M5 heeft naast de ANE ook per GPU core een neural accelerator gekregen. Daarmee is o.a. de prefill performance een stuk beter geworden. Dankzij het MLX framework kan bestaande software relatief makkelijk versneld worden voor Apple silicon. Inmiddels worden hele Metal-based inference engines geoptimaliseerd voor bepaalde modellen en specifiek M5 hardware. Met MTPLX draait Qwen 3.8 Flash Next op een M5 Max op zeer goed bruikbare snelheden voor agentic workflows. Er is ook software zoals DwarfStar (ds4) en Splash om modellen sterk geoptimaliseerd te kunnen draaien. oMLX kan daar als generieke LLM engine nog niet aan tippen, maar is recent ook weer een stuk sneller geworden.

En dan hebben we het alleen nog maar over standaard LLMs. Gaan we kijken naar TTS, STT en diffusion models dan zie je hetzelfde: moderne hardware spuugt met hoge snelheid fotorealistische graphics uit met modellen zoals Flux.2 Klein en Qwen Image 2.1 en soortgelijke alternatieven. Voice cloning is eng goed, real-time transcriptie met diarization, etc.

Ergo, wie denkt dat local AI zich alleen leent voor wat simpele Q&A met kleine LLMs, heeft echt onder een steen gelegen. Het is niet voor niks dat peperdure hardware als warme broodjes verkocht wordt. En dit is nog maar het begin...

[lordawesome]

Wow, zojuist even Strata uitgeprobeerd en ik haal 75-100 tokens op de 63GB IQ2_XS versie van Qwen 3.8 Flash Next 125B op mijn 16GB gpu en 48GB ram. Nooit gedacht dat zo'n groot model zo snel lokaal zou kunnen draaien! In LM Studio zakt alles groter dan 16GB in als een pannekoek.

[Llopigat]

Ja maar die modellen zijn vaak voldoende voor simpele dingen als even een samenvatting maken. Zo doet Firefox het bijvoorbeeld ook met links previews nu.

Voor veel dingen heb je helemaal geen Fable 5.5 of wat dan ook nodig.

[Reactie gewijzigd door Llopigat op 8 oktober 2026 00:34]

[mbb]

Stable Diffusion kon theoretisch draaien op 8GB video RAM - zijn nieuwe modellen zoveel groter en zwaarder? Kan AI niet interactief bepalen welk deel van zichzelf het in moet laden om bruikbaar te zijn? Voor fotobewerking heb je geen programmeerAI nodig en vice versa.

Ik was toevallig net aan het kijken of ik AI kon gebruiken als editor om een stukje te schrijven. Copilot (free) geheugen blijkt beperkt te zijn tot 30 opdrachten - als je die sessies lokaal kan opslaan en wisselen tussen meerdere sessies lijkt me dat al vooruitgang. 'Permanente' instructies zijn nu alleen bij de gratis versie van ChatGPT mogelijk

ChatGPT en Claude zijn beperkt tot 128,000 resp 200.000 Tokens (whatever they may be) - Hoe groot zou een token zijn? Ik neem aan dat die toch makkelijk in een videokaart met 6GB ram passen, of anders in het gewone ram, waar 32GB toch wel aardig standaard is nu, en na de RAM-crisis waarschijnlijk richting 128GB zal gaan?

Maar dat het artikel aangeeft dat Copilot op eigen houtje bestanden begint te verplaatsen naar een andere map schrik ik toch wel van. Dat er een kopie gemaakt wordt naar een werkmap snap ik nog, maar nam aan dat de brondata alleen gelezen zou worden. Dus nu twijfel ik Copilot installeren - als AI-noob zullen mijn prompts vast nog niet erg goed zijn, en als je niet handmatig moet/hoeft aan te geven waar het programma toegang toe heeft, wie weet welke data het per ongeluk gaat zitten veranderen.

[Reactie gewijzigd door mbb op 8 oktober 2026 02:07]

[MSalters]

Het probleem met "tokens" in je VRAM is 1 dat ze naast de weights staan (en dat zijn er al gauw 12 GB) en 2 dat het meer is dan de tokens zelf. Concreet staan ze in de "KV cache" en die bevat per token ook nog context.

[MSalters]

Beeld generatie (stable diffusion) kan op laptops net. Dan kijk je wel naar een 5080/90 mobile. Of deze iGPU dus.

[lameeuw]

AI en meer privacy snap ik even niet zo goed, AI modellen zijn nu al meermalen uit hun sandbox gebroken en zijn zelfstandig gaan hacken. Je hangt zelf ook aan het internet met je systemen... wordt het probleem dan niet juist groter ?

[TMC]

Dat zijn experimenten van OpenAI. Bij normaal consumentengebruik is de kans dat zoiets gebeurt nihil.

Daarnaast heeft hij het over lokale AI. Dat biedt vanzelfsprekend meer privacy dan AI in de cloud.

[HKLM_]

Ook de AI-agent Autopilot wordt meer lokaal gedraaid.

Deze naam is nu al verwarrend, ze hebben al een product met deze naam en als je het nu over autopilot hebt voor Windows 11 heeft het twee betekenissen. Why MSFT why..

[Get!em]

Omdat ze grossieren in foute namen.

Wat dacht je van Windows App

Die in de (Microsoft) Windows App Store staat…

https://apps.microsoft.com/detail/9n1f85v9t8bn?hl=nl-NL&gl=NL

[Llopigat]

Ook een goed voorbeeld ja. En ook iets dat gewoon niet goed werkt.

Ik heb een aantal Azure Virtual Desktops en sommigen komen tevoorschijn in de oude Remote Desktop app en sommigen in de Windows app Maar nooit allebei. Het is meer dan alleen een nieuw naampje. Heel vreemd. Ze zeggen: "Remote desktop is nu de windows app" maar dat is dus niet waar, ik moet beiden gebruiken om overal bij te kunnen.

[Reactie gewijzigd door Llopigat op 8 oktober 2026 00:33]

[Kallik]

Microsoft heeft geloof ik toch geen product dat zo heet? Autopilot is een modus naast "Home" en "Code" in de nieuwe Copilot app. Nu kondigt Microsoft aan dat die Autopilot meer gebruik gaat kunnen maken van lokale modellen.

Het artikel is slecht geschreven/vertaalt, maar op zich is hier niets verwarrends aan.

[jordy5]

Zeker wel. Hoewel het niet echt een product is: https://learn.microsoft.com/en-us/autopilot/overview

Scout was ook niet ideaal als naam, maar Autopilot is voor sommige wel verwarrend

[Kallik]

Zoals de pagina die je linkt al zegt; dat is geen product.

[Llopigat]

Jawel, Autopilot was ook de naam van het automatisch koppelen van laptops out of the box aan het bedrijf. Zonder dat je er een speciaal image op hoeft te installeren. Hetzelfde als Apple DEP (Device Enrolment Program) wat tegenwoordig ADE (Apple Device Enrolment) heet. Echter zijn dit niet echt dingen die de eindgebruiker kent van naam (alhoewel ze er vaak wel mee te maken hebben).

Dat maakt het erg verwarrend voor IT professionals. Maargoed, alle naamgeving van Microsoft is verwarrend dus dat zijn wel wel gewend, hun marketing team rent altijd rond als een kip zonder kop. Met alles rond copilot hebben ze er weer een enorme puinhoop van gemaakt.

[Reactie gewijzigd door Llopigat op 8 oktober 2026 00:31]

[MSalters]

Maar 2 betekenissen is erg laag voor Microsoft. CoPilot heeft inmiddels 81 betekenissen. (Per april dit jaar).

[betonnerd]

De afgelopen tijd zijn er heel wat laptops met AI processor verkocht, waaronder een aan mij. Die heb ik nog niet kunnen betrappen op enige activiteit. Ben benieuwd of ik daar in de toekomst meer controle op ga krijgen.

[Scriptkid]

teams draaien,

veel van de audio en video enhancements maken gebruik van de NPU.

[betonnerd]

Inderdaad, zodra ik in een Teams meeting zit met de camera aan gaat de processor ook werken. Camera uit een het stopt weer. Weer wat geleerd.

[Botmeister]

Wat misschien wel kan werken is een aparte Windows versie o.b.v. licentie. Dus Pro, Edu, Enterprise, Ai. Op die manier worden features al jaren gescheiden.

[Reactie gewijzigd door Botmeister op 8 oktober 2026 05:48]

[PolarWolf]

Goh. Wat geavanceerd allemaal. Briljant. Ik vraag me vooral af waarom je die agents niet in een container zou draaien Nu al. Zo draait die bende bij mij al sinds ik met deze meuk begonnen ben. Maar wellicht ben ik wat ouderwets ofzo.

[oks]

Ik vraag me af wat met container bedoeld wordt? container als een container of als een Virtuele Machine?

Dat maakt nogal wat verschil. Verder lijkt het me noodzakelijk dat een agent in het os zijn eigen user id heeft anders gaat hij onder jouw user aan de slag. En daar komen ongelukken vanwege de keystores die uitgelezen kunnen worden door een agent. Dat wil je niet kan ik uit ervaring spreken. Een vergissing is gauw gemaakt. Het security perspectief van windows is niet alleen maar meerdere gebruikers als mensen maar ook meerdere gebruikers als agenten. En het interessante is dat dit een heel eigen desktop interactie vraag waar het traditioneel is 1 desktop per gebruiker is ga je nu een mengvorm willen. Het lijkt een beetje op de coherence mode van parallels desktop op de Mac.

[Reactie gewijzigd door oks op 8 oktober 2026 15:07]

[Milanobrotchen]

Ik ga kijken of ik een keer de AI van pwediepie kan downloaden. hij was hier al eerder mee dan MS,

[Menesis]

Hehe ja als de kosten voor de datacenters uit de klauwen loopt, kun je overwegen om de simpele tasks lokaal te laten uitvoeren. Scheelt cloud kosten.