Qualcomm maakt AI-modellen voor laptopprocessors beschikbaar voor ontwikkelaars

Qualcomm heeft verscheidene AI-modellen beschikbaar gemaakt op zijn website. Ontwikkelaars kunnen deze inzetten om software te maken die gedraaid kan worden op de npu van de Snapdragon X Elite-laptopprocessors.

In een post op socialemediaplatform X meldt het bedrijf dat de AI-modellen per direct beschikbaar zijn op de Qualcomm AI Hub. Op moment van schrijven zijn er 94 verschillende modellen terug te vinden. De functionaliteit varieert van het verbeteren of herkennen van geluid tot het genereren van tekst of afbeeldingen. Er zijn ook multimodale modellen, zoals Image Classification of het digitaliseren van tekst op een afbeelding.

De pagina van elk model bevat allerlei handige informatie, waaronder de inferentietijd, het geheugenverbruik en hoeveel npu-lagen er nodig zijn. Ontwikkelaars kunnen hier ook de GitHub-repository en onderzoekspaper van elk model terugvinden.

Door de AI-modellen af te stellen op de 45Tops aan AI-rekenkracht van de Snapdragon X Elite-cpu’s kunnen ontwikkelaars software schrijven die zonder problemen draait op de nieuwe chips. De eerste Windows-laptops met deze Arm-processors behoren tot Microsofts Copilot+-merk en zijn reeds beschikbaar.

Reacties (13)

[Balance]

Al een behoorlijke lijst aan nuttige modellen zo te zien!

De code is open-source, en je kan dus ook zelf modellen aanvragen of toevoegen. Zie https://github.com/quic/a...ain/qai_hub_models/models

[rtxxx]

Vreemd dat tweakers een week na lancering nog steeds geen review of line-up van de Snapdragon laptops heeft.


Toch een van de meest interessante release die we dit jaar gaan zien.

[Blokker_1999]

Aan de ene kant zijn fabrikanten zeer zuinig geweest met review exemplaren. De dag van lancering wel wat reviews gevonden, maar alle reviewers deden het met de Asus Vivobook. Bllijkbaar was Asus de enige die vooraf een toestel wou versturen naar reviewers. De dagen erna kwamen wel stilaan andere reviews binnen waarbij de Surface devices als volgende kwamen.

En ja, als men op de redactie een Asus hadden ontvangen had een eerste indruk op zijn plaats geweest, als ze alles in 1 keer willen bundelen en er meerdere toestellen aankomen dan hoop ik dat we tegen dit weekend een leuk artikel zien. Ook spijtig dat er vorige woensdag, op de lanceringsdag, helemaal geen bericht over werd gepost.

En ik hoop vooral dat Tweakers hier niet de boot gewoon volledig mist en geen enkele review in de pijplijn heeft zitten.

[barco]

Heb je al een review gezien van een andere fatsoenlijke tech site dan?
Volgens mij zijn de review samples laat geleverd en mogelijk heeft het uitstellen van Recall ook invloed. Misschien heeft Microsoft het review embargo aangepast of een belangrijke update uitgesteld?

[hottestbrain]

Nog vreemder dat de devices niet in de pricewatch staan. Mijn review staat al een tijdje klaar in m'n kladblokje

[Bossie]

Eens, dit is toch wel erg bijzonder aangezien tweakers een techsite is toch?
Teleurstellend enzo.

[Galvatron]

Inderdaad, heb inmiddels al diverse reviews gezien online o.a. Dave2D
- Asus YouTube: The Moment We've Been Waiting For
- Lenovo - YouTube: MacBooks FINALLY Have Competition

Er zijn nog meer reviews, o.a. ook op het gebied van gaming.

Zijn interessante devices, gemiddeld 10-11% langzamer in emulatie x86 wat op zich meevalt. Uiteraard veel zuiniger. Kan zich meten met Apple's M3 en the high-end AMD and Intel procesoren.

Wat ik wel jammer vind is de gesoldeerde RAM, geldt bijna voor alle laptops. Dus je moet echt kiezen tussen 16 of 32GB, je SSD upgraden kan bij de meeste wel.

Ai op de NPU moet zich natuurlijk nog bewijzen maar dat zal wel goed komen.

Gamen kan op 1080p op low settings, maar presteert beduidend slechter dan de integrated ARC's van intel of AMD's M780 (YouTube: GAMING on a Snapdragon X Elite Laptop! (15+ Games Tested)). Ook is er een review waar ze er Doom Eternal op spelen, daar zie je dat de emulatie nog niet helemaal goed gaat.

[djwice]

Ah het zijn bestaande modellen, zoals Whisper e.d.

[kamerplant]

Zou dit ook kunnen werken op MacBooks met Windows for ARM? Zal wel leuk zijn 🙂

[machiel]

De modellen worden, naast een soort native Qualcomm formaat, ook in ONNX formaat aangeboden, dat draait op vrijwel elk platform.

[Coolstart]

Ik ben vooral benieuwd wat je zoals kan met 45Tops AI rekenkracht. We zijn GPT4 gewoon maar dat die rekenkracht zal wel honderden keren meer zijn. Ik besef wel dat je applicatiespecifiek niet die kracht nodig hebt maar ik vraag het me af.

Ook ben ik benieuwd hoe 45Tops gaat verouderen. Als next gen NPU’s plots 400Tops kunnen produceren kan ik me inbeelden dat uw nieuwe laptop snel outdated zal zijn als blijkt dat het AI model traag reageert op de first gen NPU’s die we nu zien.

Ook vraag ik me af met wat devs gaan afkomen wat functionaliteit betreft. Die wereld ligt nog helemaal open.

Beeld je in dat je tegen powerpoint kan zeggen “ Maak een presentatie in template X en toon in 20-30 slides de geschiedenis van de landbouw” Of “stuur me elke week een een samenvatting per mail van het belangrijkste politieke nieuws van land x op basis van website y en z.” Tot “ Maak mijn persoonlijke Windows app die in een taartdiagram het geheugenverbruik per applicatie weergeeft”

Ai is nu nog beperkt dus mijn voorbeelden zijn mogelijk nog wat buiten bereik maar toch ben ik benieuwd waar we over 10 jaar staan

[Ferdinand Oeinck]

Lees ik nu goed dat het alleen via x86 emulatie werkt?

Supported python package host machine Operating Systems:

Linux (x86, ARM)
Windows (x86)
Windows (ARM-- ONLY via x86 Python, not ARM Python)
MacOS (x86, ARM)

https://github.com/quic/ai-hub-models/tree/main

[Reactie gewijzigd door Ferdinand Oeinck op 22 juli 2024 14:18]

[GertMenkel]

Ze werken op ARM in Linux

Ik weet niet hoe goed de virtualisatiesupport op Windows voor ARM is, maar wellicht kan je het spul ook via WSL2 draaien. Ik denk dat developers die het echt werkend willen krijgen, de boel ook wel zullen kunnen porten, ik vermoed dat er een dependency niet helemaal goed compileert ofzo.