Microsoft wil AI meer lokaal laten draaien en agents afkaderen in containers

Microsoft kondigt tijdens het Surface-evenement verschillende nieuwe functies voor 'hybride' AI aan, waarbij AI-toepassingen gedeeltelijk lokaal draaien in plaats van in de cloud. Daarnaast breidt het bedrijf de beveiliging en afkadering van agents uit.

Tijdens de presentatie en in de bijbehorende blogpost benadrukt Microsoft meermaals het 'hybrid intelligence'-principe. Dit beschrijft het combineren van lokale AI- en cloud-AI-toepassingen, afhankelijk van de taak. Dat moet volgens het bedrijf voorkomen dat gebruikers meer van hun AI-budget verbruiken dan bedoeld.

Dit principe wordt ook in de Copilot-dienst geïntegreerd. Zo moet de AI-tool lokaal met bestanden werken, Windows besturen en programmeren met lokale modellen. Op dit moment worden bepaalde lichte taken al lokaal uitgevoerd. Het is onduidelijk welke taken precies lokaal of in de cloud uitgevoerd moeten worden.

Ook de AI-agent Autopilot wordt meer lokaal gedraaid. Microsoft geeft als voorbeeld een verzoek aan de agent om te helpen bij belastingaangiften. De agent zoekt in mails, doorzoekt gedeelde documenten, verplaatst documenten naar een nieuwe map en stelt een e-mail aan een accountant op. Dit gebeurt met verschillende lokale en cloudgestuurde AI-tools.

Tot slot maakt Microsoft Execution Containers nu beschikbaar voor gebruikers van Windows 11. Hiermee kunnen beheerders een afgekaderde omgeving ontwerpen waarin een agent kan opereren. Dit moet de mogelijkheden van agents begrenzen en daarmee het gebruik van deze autonome AI-tools veiliger maken. Agents van OpenAI, GitHub, Nvidia, OpenClaw en Microsoft zelf ondersteunen deze containers al. Later komen daar onder meer Anthropic en Perplexity bij.

Reacties (18)

[Nozmordre]

Eindelijk aan het beseffen dat veel van hun klanten hun extreem gevoelige data niet in hun cloud willen gooien en dat ze moeten aanpassen of die klanten verliezen aan compleet self-hosting.

[Mellow Jack]

Haha grappig. Nee joh, erachter komen dat veel van hun klanten enorme kosten maken door het gebruik van grote modellen terwijl 95% van de situaties voldoende hebben aan kleine lokale modellen (icm SharePoint en Bing api's).

Dus zo helpen ze hun klanten kosten te besparen en locken ze hun klanten nog dieper in hun ecosysteem.

[jabwd]

hier waren ze al achter gekomen met ML in het verleden en dat apple een punt had met on-device processing.

Het verschil met dit is dat een hype bubbel nodig is omdat men niet wil toegeven dat ze geen nieuwe groei meer hebben. Je kan je office365 maar zoveel omhoog blijven krikken om die lijn naar boven te laten gaan. Het gaat nog even een tijdje erger worden jammer genoeg.

[Skit3000]

Of andersom; dat het Microsoft geen geld kost als klanten hun eigen hardware inzetten voor simpele taken.

[Blorgg]

Of andersom; dat het Microsoft geen geld kost als klanten hun eigen hardware inzetten voor simpele taken.

Of omdat Microsoft $80 miljard aan GPUs heeft die het niet kan gebruiken omdat het stroomnet dat niet toelaat en dit een van de weinige manieren is dat ze nog verder kunnen schalen?

[Marve79]

Lokaal / on-prem wordt weer de toekomst. Eerst was het cloud hier cloud daar en nu gaat alles weer terug

[Boy]

Ik denk eerder dat het vooral op de computer zelf gaat draaien; computers worden krachtiger, LLM's efficiënter.

[rammes]

Ja heerlijk, van mainframes, naar on-prem server based, naar private/public cloud en weer naar on-prem. Als It'er gelukkig nooit om werk verlegen ;-)

[squareware]

Cloud... eerst alles nog even op de blockchain.

[HKLM_]

Ook de AI-agent Autopilot wordt meer lokaal gedraaid.

Deze naam is nu al verwarrend, ze hebben al een product met deze naam en als je het nu over autopilot hebt voor Windows 11 heeft het twee betekenissen. Why MSFT why..

[Kallik]

Microsoft heeft geloof ik toch geen product dat zo heet? Autopilot is een modus naast "Home" en "Code" in de nieuwe Copilot app. Nu kondigt Microsoft aan dat die Autopilot meer gebruik gaat kunnen maken van lokale modellen.

Het artikel is slecht geschreven/vertaalt, maar op zich is hier niets verwarrends aan.

[jordy5]

Zeker wel. Hoewel het niet echt een product is: https://learn.microsoft.com/en-us/autopilot/overview

Scout was ook niet ideaal als naam, maar Autopilot is voor sommige wel verwarrend

[Get!em]

Omdat ze grossieren in foute namen.

Wat dacht je van Windows App

Die in de (Microsoft) Windows App Store staat…

https://apps.microsoft.com/detail/9n1f85v9t8bn?hl=nl-NL&gl=NL

[betonnerd]

De afgelopen tijd zijn er heel wat laptops met AI processor verkocht, waaronder een aan mij. Die heb ik nog niet kunnen betrappen op enige activiteit. Ben benieuwd of ik daar in de toekomst meer controle op ga krijgen.

[Scriptkid]

teams draaien,

veel van de audio en video enhancements maken gebruik van de NPU.

[Misterven1]

Ja, ik ben ook op zoek naar laptops met AI-processor waar ik ook AI lokaal wil gebruiken voor afbeeldingen te creëren, en die ook niet meer in de cloud hoeven. Ik dacht aan een laptop met Snapdragon (ARM-chip), wat ook prima goed werkt. Echter, het is ook wel aan de hoge kant met prijzen, wat het ook verschillend maakt. Maar toch worden ze in de toekomst goedkoper. Wel goed dat MS AI meer lokaal wil draaien, wat ons veel meer privacy biedt.

[lameeuw]

AI en meer privacy snap ik even niet zo goed, AI modellen zijn nu al meermalen uit hun sandbox gebroken en zijn zelfstandig gaan hacken. Je hangt zelf ook aan het internet met je systemen... wordt het probleem dan niet juist groter ?

[TMC]

LLM's op je eigen laptop draaien lijkt me een kansloze zaak, tenzij je genoegen neemt met hele beperkte modellen met kleine context windows en lage token rates.