Amazon verlaagt Alexa-latency met kwart door switch naar eigen Inferentia-cpu's

Amazon laat de meeste zoekopdrachten die via spraakassistent Alexa worden opgegeven inmiddels grotendeels draaien op zijn eigen Inferentia-chips. Het bedrijf wil in zijn datacenters van Nvidia-gpu's afstappen en zijn eigen apparatuur gaan gebruiken.

Amazon schrijft in een blogpost dat het Alexa-zoekopdrachten voortaan wil inzetten op zijn eigen chips voor machine learning. Dat gebeurt met de Elastic Compute Cloud Inf1-dienst, die draait op de Inferentia-chipset die wordt gebruikt in Amazon Web Services. De Inferentia-chip is specifiek gebouwd voor AWS om machine learning te versnellen. Inferentia-chips hebben vier NeuronCores en bevatten extra veel on-chip cachegeheugen om dat proces makkelijk te maken. Dat zorgt volgens Amazon onder andere voor een lagere latency.

Amazon zegt dat 'het overgrote merendeel' van de Alexa-workloads inmiddels op die Inferentia-chips wordt uitgevoerd. Dat zou tot nu toe hebben gezorgd voor een verlaging van 25 procent van de latency, en een kostenreductie van 30 procent. Tot nu toe gebruikte Amazon Nvidia's T4-gpu's voor het uitvoeren van berekeningen, maar het bedrijf wil daar op den duur vanaf stappen.

Het gaat bij die switch overigens alleen om text-to-speech van Alexa-commando's. Dat was het enige aspect van de technologie achter de spraakassistent dat nog op dedicated gpu's draaide. Andere onderdelen van de berekeningen, waaronder de Automatic Speech Recognition en de Natural Language Understanding werden al op chips gedaan.

Volgens Amazon wordt ook het gezichtsherkenningsprogramma Rekognition overgezet naar Inferentia-chips. De latency zou daarbij acht keer lager zijn dan bij traditionele gpu-berekeningen. Amazon wil echter niet zeggen welke hardware daar eerst voor werd gebruikt.

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Reacties (33)

Dat is een serieuze streep door de rekening van nVidia, Amazon is nu geen kleine partij wat betreft servers.

Inderdaad en zo wordt Amazon maar machtiger en machtiger. Het bedrijf, inclusief Jeff Bezos(vind het een enge vent) moet echt een keer een halt toegeroepen worden voor het (als het niet al) te laat is.

[Reactie gewijzigd door ro8in op 13 november 2020 22:15]

Lijkt mij veel te laat om eerlijk te zijn.. Amazon is tegenwoordig een bedrijf dat concurreert met bedrijven als Apple en Microsoft voor de top positie, en dat zijn niet bepaald 'kleine jongens'.

nu is amazon veel breder dan dat, ze zijn ook heel goed in het opsporen van verouderde zakenmodellen.

dat is hun ontstaansgeschiedenis geweest, en nu kunnen ze dat makkelijker omdat ze zich in kunnen vechten.

ze ziet dat ze hun tactiek ook steeds meer ala apple doen, steeds meer inhouse. Ze hebben inmiddels een eigen luchtvloot ook, dus eigen cpus etc is klein grut

Voeg daar aan toe dat ze tot een select groepje bedrijven behoren dat sterker uit de corona tijd komt, tja berg je maar als amazon je concurrent wordt

Helemaal mee eens. De vergelijking van Nees met B&L uit Wall-E is best wel passend. Als je als verkoop platform alles onder één virtueel dak hebt, zoals Amazon, maak je kans dat mensen hun boodschapjes bij jou gaan doen. Zodra Amazon niet alleen een verkoop-platform is, maar zelf ook gaat produceren: berg je maar inderdaad. Nu krijg je bij het zoeken op batterijen alle aanbiedingen van verkopers via het Amazon kanaal, verschillende merken en mogelijk ook verschillende verkopers, Amazon alleen als tussenpersoon. Amazon weet waar op gezocht wordt en wat verkoopt. Amazon kan het koppelen aan ander koop-gedrag. Amazon bepaalt ook wat bovenaan in de zoekresultaten komt te staan. Ze kunnen met die info en macht zelf batterijen gaan maken en bovenaan zetten. Zie daar als onafhankelijke producent nog maar eens tussen te komen - kansloos. Oh wacht, dat doen ze al voor allerlei producten. Tot nu toe zijn overheden nog niet echt effectief gebleken in het inperken van deze macht, ook niet bij de concullega's Google, Apple, MS en Facebook.

het is meer dan dat het is zoeken naar nieuwe kanalen (bv in die voedsel/supermarkt sector) maar ook de links met preferente leveranciers (niet in nl maar de buttons werken wel zo in de vs)

en inderdaad het kapitaal om markten waar de huidige leveranciers veel geld verdienen maar ouderwets werken te betreden (denk aan gezondheidszorg)

Binnenkort worden ze de B&L (Buy & Large), maken ze een ruimteschip waar ze hun producten verkopen en worden we dik, want we moeten de aarde verlaten wegens geen groen dat niet meer kan groeien door al de vervuiing en sturen we robots om de zoveel tijd om de status van de aarde te controleren... Oh wacht, dat is Wall-E

"opsporen van verouderde zakenmodellen"
Mbt de eerste zijn in cloudcomputing, manier van bezorgen, biovoedsel ed. helemaal gelijk, en toch als ik op de webshop van Amazon zit heb ik het gevoel 20 jaar terug in de tijd te gaan, het zoekt even slecht, nee slechter, dan Aliexpress wat al verschrikkelijk is, hoe kan dat zo populair zijn???

men begon met de boeken, daarna met muziek (nog op fysieke media)
inmiddels zijn ze ook uitgevers (over verouderd model gesproken)

wij zijn wel wat gewend qua voedsel shoppen ed picnic appie ed, maar de supermarkten in de vs liepen 20 jaar achter.

Het is ook niet de eerste of de snelste te zijn he, is het is diegene te zijn die men kiest. Het aantal bedrijven dat via amazon verkoopt etc.

Omdat ze vaak aanzienlijk goedkoper zijn en ook vaak onverwachts artikelen korte tijd in de aanbieding gooien. Zo kan een ipad pro een uur lang 150 euro goedkoper zijn, waar elders de korting vaak maar 30 euro is bijv. Of veel producten in bulk verkopen met hoge korting.

Is een slimme strategie want zo blijf je vaak de site bezoeken in de hoop dat het artikel dat je wilt afgeprijsd is. Ondertussen wordt je verleid tot andere aankopen.
Het is net de ikea waar je binnenloopt voor een kast en naar buiten loopt met allemaal kleine artikelen. Alleen is amazon met een muisklik te bezoeken en met een veel groter aanbod.

De prijs compenseert voor de slechte interface al wen je er wel snel aan. Je vinkt na je search de optie "amazon prime" (zelfs al heb je geen prime) of "gratis verzending vanaf 29 euro" aan en je filter zo al veel zooi eruit.
Staat er vervolgens "fulfilled by amazon" bij een artikel dan zit je al best goed.(externe aanbieder die via amazon verstuurd).
Fullfilled en sold by amazon en je zit helemaal goed.

Helaas gaat het allemaal ten koste van kleine webwinkels. En natuurlijk probeer je uit principe bij kleinere winkels te bestellen maar amazon is zo breed qua aanbod tegenwoordig dat je uiteindelijk toch overstag gaat omdat het op jaarbasis honderden euros kan schelen.

[Reactie gewijzigd door Valinor op 16 november 2020 01:14]

Het kan niet lang duren voordat Amazon opgesplitst wordt. Ik zie 3 opties:

- AWS
- Amazon platform
- Amazon winkel

Dan kan je google , apple en ms ook opslitsen . Zie dat niet snel gebeuren.

Google is al opgesplitst..

Je bedoelt vanwege Alphabet? Dat is geen opsplitsen, dat is gewoon een herstructurering, alles valt onder Alphabet.

Nope

Klopt. En ook dat gaat op termijn gebeuren.

Kapitalisme verslind de democratie

Klinkt als zo'n jaren 30 communisme spreuk....

... maar is zo waar.

Ik denk dat de manier waarop onze samenleving is ingericht niet helemaal meer past bij de mogelijkheden die we als mens hebben.

Dit hebben we eerder gezien, dus is niet erg. Bijvoorbeeld bij de verschuiving van de macht, weg van de kerken. En later van de adel.

"Het bedrijf wil in zijn datacenters van Nvidia-gpu's afstappen en zijn eigen apparatuur gaan gebruiken."

Waar staat dat dan? Inference is maar een deel van ML. De modellen moeten natuurlijk ook getrained worden. Daarnaast zijn er natuurlijk talloze andere redenen om GPU instances te gebruiken.

Zo heeft AWS onlangs de p4 instances gereleased met 8 NVidia A100 GPU's (elk 40GB!).

Klopt dat vindt ik ook raar, het is denk ik ook niet zo dat AWS voor general compute GPUs gaat maken. Het gaat hier alleen om de specifieke toepassingen, daar wordt ook de winst gemaakt door zelf een chip te ontwerpen. Zoals Tesla dat bijvoorbeeld ook heeft gedaan en dat is uiteraard alleen voor de echt grote jongens interessant. Dit betekend dus echt niet dat NVidia opeens veel markt gaat verliezen of dat AWS geen NVidia GPUs meer gaat kopen.

Klopt dat vindt ik ook raar, het is denk ik ook niet zo dat AWS voor general compute GPUs gaat maken. Het gaat hier alleen om de specifieke toepassingen, daar wordt ook de winst gemaakt door zelf een chip te ontwerpen.

Ik gok eigenlijk dat je tegenwoordig qua datacenters / gpu's je 3 modellen hebt :
- De echt gespecialiseerde
- De general compute GPU's van Nvidia

Alleen ik denk dat er bij NVidia er alsnog standaard een bepaalde overhead overheen zit die voorkomt uit het verleden en die er nog wel af te snijden is door een Amazon etc

Eigen hardware eerst - Apple, Amazon en Google - who's next?

overal waar repetitieve taken zijn zal er bij een schaal die groot genoeg is overgestapt worden op specialistische hardware ipv general purpose. Dat zie je niet enkel in datacentra, maar is een paar decennia geleden al begonnen met gameconsoles.

'het overgrote merendeel'? Lekker dubbelop.

Plus 1.

Het merendeel is al boven de 50%. Overgrote laat weten dat het ver boven de 50% is. Dus nee niet echt dubbelop.

Ik had evengoed een andere woordkeuze gedaan. De stelling staat open voor interpretatie en dat is naar mijn inzien nooit correct.

Aan de andere kant houden ze het nu open genoeg voor verandering. Stel dat ze in plaats van een (voorbeeld getallen) geplande 90% maar 75% dan zijn er genoeg mensen die dan weer "negatief" doen zoals "slechte planning", "verkeerde berekeningen gemaakt", "te weinig geld erin gestoken", "gewoon dom om 90% te zeggen", ect. Nu is het dus alleen intern bekend en extern dus geen fout gemaakt.

Mooi dat hij nog sneller gaat reageren 👍

Is er nog een toekomst voor traditionele chip designers zoals Intel, Nvidia en AMD als binnenkort iedereen zijn eigen chips gaat ontwikkelen? Veel bedrijven zijn zo kapitaal krachtig geworden dat ze het zelf kunnen doen precies.

Zolang Intel, AMD en Nvidia nog altijd record omzetten blijven draaien denk ik wel, de vraag is nog altijd groot genoeg (ze lijken alle 3 immers capacity constrained te zijn) in ieder geval de komende tijd zal de vraag naar general purpose compute verwacht ik niet heel erg rap afnemen, als het al gaan afnemen. Vergeet niet dat deze partijen ook gewoon in de markt kunnen stappen voor dit soort gespecialiseerde designs, echter zullen ze dat in veel gevallen verwacht ik (nog) niet doen, omdat de markten nog te klein zijn.

Ik vind het een interessante en goede ontwikkeling. Een jaar of tien terug moest ik een keuze maken of ik door wilde gaan met embedded/lowlevel programming, of dat ik meer als integrator/highlevel (scripting noem ik het) aan de slag wilde. Het eerste vond ik veel leuker, maar alle trends leken te wijzen dat er meer markt is voor het tweede.

Natuurlijk heb ik het eerste gekozen. En het doet natuurlijk pijn om menig scriptkiddie het dubbele van mezelf te zien verdienen. Maar dit soort nieuws, waarin duidelijk wordt dat beter design op hardware of low level veel uitmaakt op scale, maakt me erg happy en hoopvol.

Amazon is met hun encoding platform (voorheen Elemental) ook van de Nvidia GPU's af aan het stappen en naar een AMD / Eigen chip set up aan het gaan. Vraag mij af hoe lang het duurt voordat Nvidia helemaal uit de (eigen) services van elemental zijn.

Alhoewel ik wel begrijp als ze het blijven aanbieden aan de eindklant, daar kunnen ze de (hogere) kosten gewoon in het product doorrekenen.