Microsoft Copilot krijgt een nieuwe interface en spraakfunctie

Microsoft is dinsdag begonnen met het uitrollen van een nieuwe interface voor AI-assistent Copilot. Daarnaast heeft het bedrijf meerdere nieuwe functies aangekondigd voor de chatbot, waaronder het voeren van verbale gesprekken.

Het nieuwe uiterlijk van Copilot wordt uitgerold naar de webversie, de mobiele versie en de appversie in Windows, schrijft onder meer The Verge. De startpagina van de nieuwe interface laat verschillende grote vlakken zien en geeft tips op basis van de gesprekken die de gebruiker met Copilot heeft. Onderaan het scherm zit de balk waarin de gebruiker prompts kan schrijven.

Bron: Microsoft

Daarnaast heeft Microsoft nog een aantal nieuwe functies aangekondigd, die voorlopig nog niet beschikbaar zijn in de Benelux. Zo voegt het bedrijf de mogelijkheid toe om verbale gesprekken te voeren met Copilot, waarin de gebruiker de chatbot vragen kan stellen en zelfs kan onderbreken. Net als bij de Advanced Voice Mode van ChatGPT kan Copilot de gemoedstoestand van de gebruiker herkennen aan de toon van de stem. Voices komt eerst beschikbaar in de VS, het VK, Nieuw-Zeeland, Australië en Canada en gebruikers in die landen kunnen kiezen tussen vier stemmen.

Een andere nieuwe functie heet Vision. Hiermee kan Copilot met de gebruiker meekijken in de webbrowser en vragen beantwoorden over de inhoud op het scherm. Zo kan de functie worden gebruikt bij het zoeken naar gewenste producten. Vision slaat geen data op die gebruikt kan worden voor het trainen van de AI, zegt Microsoft. Ook werkt de huidige previewversie nog niet voor alle sites, doordat Microsoft 'een veilige ervaring' wil bieden. Vision werkt verder niet bij content die is afgeschermd met een betaalmuur of 'gevoelige content'. De functie is voorlopig alleen beschikbaar voor Copilot Pro-abonnees in de VS.

Verder heeft Microsoft Think Deeper en Copilot Daily aangekondigd. Think Deeper is een onderdeel van Copilot Labs, een bètaprogramma voor Copilot-functies, en is bedoeld voor het beantwoorden van complexere vragen. Copilot neemt dan langer de tijd om een antwoord te genereren en geeft stapsgewijs antwoord. Daily is een functie die kort het nieuws en het weerbericht samenvat voor de gebruiker en deze opleest. De nieuwsfunctie is voorlopig alleen beschikbaar in de VS en het VK.

Reacties (47)

[Zorg]

Alle onderdelen zijn openai in een ms jasje! Maar heel indrukwekkend, met name vision lijkt me erg handig. Mee laten kijken met code en daarbij helpen? Scheelt een boel copy paste naar chatgpt.... volgende stap is laten uitvoeren en ook direct tonen op het scherm, dan hoef je enkel nog maar te praten tegen je computer. Handig!

[Elorad]

Vooralsnog zie ik chatgpt genoeg foute code teruggeven en de code die wel werkt, is vaak spaghetti code. Mijn ervaring, geen representatieve steekproef met N=2 (mijn collega deelt mijn mening).
Daarnaast, alls je echt chatgpt de hele dag nodig hebt om fatsoenlijke code te kunnen schrijven, moet je jezelf misschien achter de oren krabben of je wel geschikt bent als software engineer. Waamee ik niet wil zeggen dat dat voor jou geldt. Ik zie dit bij ons op kantoor wel veel gebeuren bij juniors en mediors, ik probeer ze altijd mee te geven, dat chatgpt(en copilot en gemini en <fill-in-llm>) je geen betere engineer maakt, hooguit 1 die zich een stuk trager ontwikkelddan een engineer die het wel zelf kan.
Voor wat simplele boilerplate code is het daarentegen wel geschikt, maar dat mijn IDE zelf ook genereren.

[Snowfall]

Vooralsnog zie ik chatgpt genoeg foute code teruggeven en de code die wel werkt, is vaak spaghetti code.

Kan je dus oplossen door een eigen GPT te bouwen op chatgpt. Ik heb zelf een gebouwd voor mn Swift en SwiftUi werk. Ik heb nu op t moment ongeveer 40 PDFs van verschillende bronnen en publishers er aan toegevoegd, nu 5 PDFs met 800 code examples van mijn eigen code en hoe ik zelf programmeer en 2 PDFs met manieren hoe ik component based programmer.

En als je bijvoorbeeld in de instructies uitlegt dat alle documentatie die je hebt toegevoegd moet worden geanalyseerd of worden gevolgd tijdens een prompt en moet worden gebruikt bij code generatie maakt de GPT alleen nog beter.

En als je dan een goeie prompt gebruikt zoals deze bijvoorbeeld

"You are a Sr IOS developer and all the knowledge I provided is everything you need to know as a Sr iOS developer. Analyze your knowledge, make sure to keep the component based coding and personal code examples I provided in mind.

Now write me a ViewModel for this Model with the following variables and for the GuidesView:

The code needs to retrieve the information in the background while the user is login in, I would prefer the usage of the Combine Framework and make sure we can save the model in Core Data. So the ViewModel needs:

- fetchGuidesFromAPI to fetch it using Combine
- savetoCoreData to save it to our Core Data Stack named "myCoreDataStack"
- sync function to check if the information in Core Data Stack is up to date with the information from the API
- deleteFunction that deletes all information from Core Data Stack.


When writing the Viewmodel, make sure to use NSObject and ObservableObject and make sure to check my way of coding when building the ViewModel.
Thank you in advance!
"

Ik heb deze van de week bijvoorbeeld gebruikt om een ViewModel te genereren voor een Learning app en GPT weet dat mijn viewModels er vaak zo uitzien:

"
final class ViewModel: NSObject, Observable {
// Variables and stored Properties
}

extension: ViewModel {
// Functionality
}
"
En het werkt nu dus ook goed. Functionaliteit is in 90 procent van de gevallen wel goed geschreven en als ik prompts geef om complete UIs te genereren genereert GPT nu ook in componenten. Natuurlijk ben ik uren bezig geweest om dit zo in te richten en zal basis GPT dit niet zo goed doen. Maar als je zelf genoeg tijd erin stopt kan je echt een goeie code companion maken van GPT.

Maar GPT is geen vervanger van developers natuurlijk. Het gebeurt ook wel eens dat GPT code uitspuugt waar ik van denk: "Jeetje wat heb jij gerookt"

[Jago2]

Offtopic, maar wat denk je van Kotlin Multiplatform?

[Reactie gewijzigd door Jago2 op 2 oktober 2024 10:55]

[Snowfall]

Hmm goeie vraag. Ik gebruik geen Kotlin. Ik gebruik tegenwoordig echt Swift voor alles. Swift voor Apple Apparatuur, Swift voor Web applicaties en RESTAPI's, nu komt er ook embedded support voor Swift en tegenwoordig kan je ook Android applicaties schrijven met Swift als je zoiets als SCADE.io gebruikt. Dus ik kijk eigenlijk niet om naar kotlin.

[xFeverr]

Tel maar nog een paar op bij die N. Wij gebruiken Github CoPilot op het werk en het is eigenlijk best een drama. De code die eruit komt is vaak zo ontzettend slecht dat het gewoon lachwekkend is.

We hebben sinds gisteren ook CoPilot om samenvattingen te maken voor onze PR's. Dat is echt totaal onbruikbaar maar we hebben er wel al twee dagen lol mee.

[Llopigat]

Ik vind hetzelfde van copilot voor O365. Het werkt allemaal wel maar je moet er zoveel aan sleutelen dat je het beter gewoon zelf kan doen.

Sommige collega's zijn er wel jubelig over maar ik merk dat die geproduceerde content gewoon klakkeloos doorzetten. Als je ze dan aanspreekt op onjuistheden zeggen ze "oh ja maar er staat toch bij 'AI generated, check for accuracy'". Ja dat moet je dus zelf doen voor je die onzin doorblaft. Ik heb zelf meer oog voor kwaliteit en inhoud en ik stuur geen mailtjes en notulen die ik niet heb nagekeken.

Vaak zijn het hele tekstuele subtiele maar functioneel ingrijpende fouten waardoor een woordje als 'niet' over het hoofd wordt gezien waardoor gezegd wordt dat iets dat is afgesproken niet gaat gebeuren wel moet gebeuren. Daar lees je bij het checken ook snel overheen dus ik vind het ook om die reden niet prettig om het te gebruiken.

[Reactie gewijzigd door Llopigat op 1 oktober 2024 23:15]

[jdh009]

Wat je beschrijft lijkt eerder te gaan om nalatigheid en een gebrek aan zorgvuldigheid dan om een probleem met de tools zelf. Deze tools zijn bedoeld om je te ondersteunen, en zeker niet om het denkwerk volledig uit handen te nemen. Dat doe je met zoekresultaten uit Google en Stack Overflow toch ook niet? Het klakkeloos doorzetten van zulke content zonder deze te verifiëren is gewoon onverantwoordelijk gedrag van die persoon. Daarnaast is het voor velen nog steeds lastig om goede en duidelijke prompts te schrijven waarmee ze duidelijk kunnen maken wat ze van zo'n tool willen. Als je het zelf al niet goed kunt omschrijven, hoe kun je dan verwachten dat zo'n tekstgenerator dat wel kan, en daar dan ook nog goede code uit komt?

Een goede programmeur combineert in mijn ogen technische expertise met probleemoplossend vermogen, effectieve zoekvaardigheden, weet effectief gebruik te maken van beschikbare libraries, frameworks en best practices waarbij die het vermogen heeft om veilige en onderhoudbare code te schrijven die ook nog eens goed gedocumenteerd is. Ai tooling kan hierbij zeker een waardevolle aanvulling zijn door repetitieve taken te versnellen, documentatie te vergemakkelijken, bepaalde soorten fouten op te sporen of nieuwe perspectieven te bieden. Net zoals zoekvaardigheden met Google destijds ook een aanvulling waren op iemands skillset, maar geen vervanging voor kritisch denken. Het eindresultaat hangt uiteindelijk nog steeds af van het vermogen van de ontwikkelaar om de informatie of de output kritisch te evalueren en effectief te gebruiken.

[Reactie gewijzigd door jdh009 op 1 oktober 2024 21:32]

[iApp]

Hoewel ChatGPT en Copilot niet direct het goede antwoord geven ; is er in dialoog met de bot best veel mogelijk wat mij tijdens het ontwikkelen op andere ideeën bracht.

Daarmee zeg je:
- Ik heb een stuk code, maar functie Y werkt niet ;
- ChatGPT/Copilot heeft de ‘juiste code’;
- Je koppelt terug dat dit niet goed is, geeft een denkrichting, vraagt om optimalisatie van de gegeven code;
- Het resultaat wordt al beter, - iets wat jou een richting op wijst;
- Daarna schrijf je de code;
- Die code laat je reviewen, door te vragen wat beter kan (denk aan error handling/logging);
- Eventuele runtime errors laat je reviewen door de bot;

Hoe kijk jij naar de inzet van AI op dit vlak?

[TheVMaster]

Dat is volgens mij ook de manier hoe je Copilot moet gebruiken. Ik gebruik het regelmatig om te helpen met code. Als iets niet werkt dan zeg je dat, en dan komt er vaak welven werkende versie. Prompting is ook een vak apart hoor.

[DeCo]

Ik gebruik Github Copilot ook, maar ben er over het algemeen wel tevreden mee. Natuurlijk geeft ie vaak foute suggesties (herhaling op wat ik eerder bedacht heb bijvoorbeeld, of hallucinaties van herhalingen), maar ook vaak suggesties die mij een hoop typewerk schelen... dan ram ik op de TAB-knop en voila, weer wat tijd gewonnen. Misschien nog even een parameter of letter rechtzetten, maar dat is het dan wel. Dat is de manier waarop ik het gebruik. Laat het ontwerp maar verder aan mijzelf over, want daar bakt ie natuurlijk niks van.

[Dimitri.vdv]

En de volgende stap is: jou helemaal vervangen. Gaaf toch die technologie die vooral de eigenaars ervan vooruit helpt.

[Xthemes.us]

Tjah wat moet je anders doen kunstmatig rollen in stand houden?
We hebben ook geen mensen meer die handmatig elk telefoongesprek voor je doorverbinden.

[MPIU8686]

Er is nog een lange weg te gaan .. dus het vervangen van werknemers hierdoor zoals sommigen zeggen is nog steeds een heel eind weg. Dit zeiden ze trouwens 20 jaar geleden ook al en er werken sindsdien enkel maar mensen in die sectoren. Was dat even een tegenvaller voor die roepers ..

Je moet ChatGPT en Copilot als hulpmiddelen zien om de service te verbeteren en jobs te vergemakkelijken. Maar staat allemaal nog in zijn kinderschoenen.


..

[Reactie gewijzigd door MPIU8686 op 1 oktober 2024 20:18]

[Zorg]

In de gehele historie is er nog geen technologie geweest die de mensen heeft vervangen.... maar inderdaad, als je er geen gebruik van maakt dan wordt je vervangen door mensen die er wel gebruik van maken. Dat is wat anders......

[Visgek82]

Prima, tis al lang bekend dat mensen minder moeten werken daar dat veel gezonder is. Prima oplossing voor de almaar stijgende zorgkosten.

[SibboNL]

Als het je om code gaat, dan zou ik je adviseren om te kijken naar GitHub Copilot of Codium.
Die werken in bijvoorbeeld Visual Studio en Visual Studio Code.

[Alfa1970]

Voor veel editors/IDE's hoef je al een poos niet meer te copy/pasten naar ChatGPT.
Er zijn vele plugins beschikbaar die dat automatisch doen, en niet alleen voor ChatGPT.
Bijvoorbeeld de copilot in VS en VS-Code.

[Zorg]

Ik weet dat er meerdere zijn en ook dat er plugins zijn maar gek genoeg vind ik die nog niet fijn werken. Maar als iemand een goede extensie voor VS Code weet die met werlt chatgpt (zakelijk abo via werk) dan kan ik het eens proberen!

[Alfa1970]

Ik gebruik Github Copilot naar volle tevredenheid, ondanks dat ik veel mensen hoor die het niks vinden helpt het mij een stuk sneller zaken te vinden dan google.
Je kan gewoon niet meer alle bibliotheken van je programmeertaal uit je hoofd kennen tegenwoordig, en het is super simpel als je dan een beetje fuzzy aan kan geven wat je zoekt en je krijgt er een lijstje opties bij. En de In-Editor versie kan aardig code schrijven, zolang je zelf de regie er een beetje over houdt.

[Kaastosti]

Het is zeker in Office365 heel indrukwekkend wat Copilot allemaal al kan. Het wordt in praktisch alle Microsoft product geintegreerd, met een consistente interface. Heb jij toegang tot bepaalde documenten op SharePoint of OneDrive, dan krijg je mogelijk in Outlook resultaten die die documenten ook meenemen.

Het is indrukwekkend, maar tegelijkertijd verdwijnt de charme van mooie communicatie. Dat kost tijd, dus geld, dus laat Copilot maar iets genereren. Daarmee gaat jouw persoonlijke stijl verloren en wordt het een grote eenheidsworst. Da's dan wel weer jammer.

Maar ja, vaart der volkeren, AI assistenten zijn here to stay.

[ZeromaNoiS]

In theorie is het allemaal erg mooi. Maar in de praktijk valt het helaas best wel erg tegen tot nu toe.

Eigenlijk teveel om op te gaan noemen. Het vervelendste van alles is dat het ook nog eens enorm traag is. ChatGPT heeft een wat hoger tempo meestal.

Ik had het heel graag anders gezien, maar ik kan helaas nog niet enthousiast zijn.

[Kaastosti]

Gisteravond een sessie bijgewoond over de laatste ontwikkelingen. Waar ik een paar maanden terug ook nog erg sceptisch was, moet ik nu eerlijkheidshalve zeggen dat het echt wel ernstig verbeterd is. Natuurlijk is het noit 100% wat je verwacht, het blijft een kansberekening, maar wat het inmiddels kan is wel knap.

Heb eerder de gratis versie geprobeerd en Copilot studio, dat was toen nog niet veel soeps. Dit was een demo met de zakelijke variant, die werkt ineens wel goed en snel.

[ZeromaNoiS]

Heb je een demo gehad, of ook echt zelf geprobeerd?

Ik heb het toevallig vandaag zelf nog een aantal keer proberen te gebruiken, maar vanwege slechte resultaten en traagheid toch maar weer chatgpt gebruikt.

[Kaastosti]

Live demo, van een interne collega, geen Microsoft sales. Het sales verhaal met prachtige happy flow hebben we niks aan... dit was gewoon snel en goed.

[Xthemes.us]

Het vreemde is dat het merendeel van persoonlijke stijl in email eigenlijk weinig toevoegt. Er wordt vaak met een hoop kleurrijke taal erg weinig toegevoegd.

Nu zijn we op het moment aangekomen waar de AI aan de kant van de verstuurder alles mooi inpakt met prachtige lange goed geschreven zinnen (want dat is 'profesioneel'). Om vervolgens aan de kant van de ontvanger dit weer samen te vatten met AI.

Energieverspilling n.m.m.
Laat dan de verzendende kant meteen de samenvatting versturen.

[Kaastosti]

Nou ja, dat dus ongeveer. Communicatie per mail is ook niet heel efficient natuurlijk, helemaal niet als de een opklopt en de ander samenvat. Maar het is de toon die de muziek maakt. Een mail valt, afhankelijk van de toon, context en persoon wan wie deze komt, wel of niet in de smaak. Dat pakt zo'n assistent nog niet goed op. Aan de andere kant zijn er volksstammen die er ook werkelijk niets om geven.

[ErikT738]

Het blijft jammer dat ze de naam (en stem van) Cortana te vroeg hebben gebruikt.

[hottestbrain]

En te vroeg de stekker uit Windows Phone hebben getrokken, net terwijl er weer momentum leek te komen.

[noway]

ik vind het niks.....ze douwen alles door je strot heen.
windows werkt nu al elke keer met updates trager.
Veel mensen klagen daar over en ze doen niks.

[Luuk1983]

Dat heb ik nog nooit gehoord of ervaren. Heb je daar een bron van?

[noway]

laatste half jaar moet ik elke keer de updates handmatig verwijderen.
na elke update is de pc tergend traag.
De bron is online ...zoek maar op bij mij werkt de kalender niet,note pad werkt niet en foto's bekijken werkt ook niet.

als ik op instellingen druk krijg ik fout code......dus ziet naar uit een restal van windows.

als dit zo door gaat word het linux

[BeyondThunder]

Note pad?
Je weet dat de meeste problemen tussen de bureaustoel en het toetsenbord zitten?

[noway]

Denk je dat je leuk bent?

[Visgek82]

Nooit last van. Na updates is mijn pc precies even snel. Foutcodes krijg ik ook niet. Heb het idee dat hier meer aan de hand is , of de bron ligt bij jou.

Succes met linux, alvast.

[noway]

ty

[Klauwhamer]

Maar wat houd je dan tegen om bijvoorbeeld Linux Mint te installeren? Of probeer het eerst met een live boot-USB. Alleen als je gamet moet je eerst even kijken of de games die je wil spelen überhaupt en/of acceptabel te spelen zijn (zie protondb.com) onder Linux maar indien games geen prioriteit zijn is er echt niets dat je in de weg staat. Er zijn zat silky smooth distro's beschikbaar voor mensen die een geen gezanik mooie desktop willen hebben.

[noway]

Klopt wel wat je typt...mijn kids game op de pc.en niet alles draait daar op.

[DEG]

Lijkt op pi.ai

[TheVMaster]

Dit is wel heel erg gaaf! Het lijkt ook te werken in het Nederlands btw, alleen mag ze wel iets beter Nederlands leren spreken :-)

[MPIU8686]

Copilot begrijpt mij niet of wil mij niet begrijpen en ik begrijp Copilot niet. Er is nog een lange weg te gaan ..

[xorpd]

Mijn vrouw begrijpt me niet...

[MPIU8686]

Dat is meestal zo en onherroepelijk, het verschil is dat copilot zichzelf nog kan verbeteren naar de toekomst toe ..

[Opteronx4]

Doe maar weer terug oprollen

[Retrospect]

Waarom? Ik gebruik de Copilot app op mijn telefoon geregeld en die geeft mij dan heel behoorlijk antwoord inclusief bronvermeldingen. Het scheelt vaak behoorlijk wat uitzoekwerk.

Voor mijn werk zal het binnenkort ook makkelijk worden. Je geeft een document en hij maakt er een pp van een x aantal opgegeven pagina’s in de juiste opmaak. Maar dat is wel een versie voor bedrijven die Copilot niet verrijkt ivm bedrijfsgevoelige informatie.

[Reactie gewijzigd door Retrospect op 2 oktober 2024 08:34]

[computerjunky]

Leuk maar waarom is al die zooi tegenwoordig niet meer optioneel en geforceerd. Veel mensen zitrten er niet op te wachten maar krijgen het wel door de strot geduwd. Ik heb er niets tegen dat mensen het wel willen gebruiken al zijn er ook voorbeelden waar mensen er dommer van worden wat onwenselijk is maar het moet wel OPTIONEEL blijven en dat is het in windows vaak niet.