'TikTok-moederbedrijf ByteDance werkt samen met Broadcom aan AI-chip'

ByteDance, het Chinese moederbedrijf van TikTok, werkt met de Amerikaanse chipontwerper Broadcom aan een 'geavanceerde AI-chip'. Dat meldt persbureau Reuters op basis van ingewijden.

De samenwerking richt zich volgens Reuters op het ontwikkelen van een 5nm-chip voor AI-toepassingen en heeft onder meer als doel om de inkoopkosten voor ByteDance te verlagen. Het gaan om een application-specific integrated chip die niet onder de Amerikaanse exportbeperkingen valt. De productie van de asic wordt uitbesteed aan de Taiwanese halfgeleiderfabrikant TSMC. Asics worden regelmatig gebruikt voor het minen van cryptovaluta zoals bitcoins, maar worden tegenwoordig steeds vaker ingezet voor AI-toepassingen.

ByteDance zal door de samenwerking ook zeker zijn van een betrouwbare aanvoer van de chips, wat momenteel niet vanzelfsprekend is voor Chinese bedrijven, vanwege de exportbeperkingen die door de Verenigde Staten zijn opgelegd. Sinds 2022 gelden er strenge regels op het gebied van export van chips om te voorkomen dat China deze technologie gebruikt voor bijvoorbeeld militaire toepassingen. Daardoor zijn er weinig samenwerkingen geweest tussen Chinese en Amerikaanse techbedrijven.

De ontwikkeling van de asic bevindt zich naar verluidt in een vergevorderd stadium. De productie is echter nog niet gestart en dat zal mogelijk ook dit jaar nog niet gebeuren. Hoewel deze samenwerking tussen het Chinese ByteDance en het Amerikaanse Broadcom vrij uniek is vanwege de exportbeperkingen, werken de twee bedrijven al langer samen. ByteDance kocht eerder al andere chips van Broadcom voor AI-toepassingen.

Bron: Unsplash

Reacties (15)

[Deem]

Ik heb rechtstreeks met Broadcom te maken en wat een flutbedrijf is dat zeg... De overname van VMware is voor de klanten een grote puinhoop...

[Venix1990]

Klopt..

Vooral licenties nu weten ze zelf niet eens hoe en wat

[PredCaliber2]

Het valt me op dat Tweakers langzaam een beetje richting de “ragebait” kant op gaat door bewust AI en “Chinese moederbedrijf” in een zin te plaatsen.

Ik zie namelijk nooit het “Amerikaanse” Facebook of Instagram. “Chinese” lijkt in dit geval handig om reacties te ontlokken.

[Thunderhawk]

Volgens mij staat in de eerste zin "met de Amerikaanse chipontwerper Broadcom".

[sabineschults]

Het is voor dit artikel vrij relevant om te noemen dat het om een Chinees en een Amerikaans bedrijf gaat, gezien de exportbeperkingen.

[Patrick1995]

Ben benieuwd of deze chips ook echt geleverd gaan worden. Zou me niets verbazen als de Amerikaanse exportsancties uitgebreid worden, zodat deze chips hier ook onder gaan vallen. Want als chips gebruikt kunnen worden voor AI, zullen ze voor bepaalde militaire doeleinden ook nuttig zijn.

[Miglow]

Alleen hebben ze op Taiwan niet zoveel grip....

[lenwar]

Wat ik me nou wel is afvraag. Wat is een "AI-chip" en hoe is dat anders dan x86, PowerPC, ARM, enz.?

Ik heb met AI altijd het idee dat het voornamelijk software is. Ik snap uiteraard dat er gespecialiseerde chips bestaan die bepaalde optimalisaties hebben. We hebben natuurlijk de CPU's die 'alles best goed' kunnen, GPU's, die voornamelijk goed zijn in parallelle berekeningen zijn. (dus voor allerlei workloads)

Maar zijn AI-berekening echt zo anders, dat je er aparte chips voor nodig hebt? Een database a la Oracle DBMS draait tenslotte ook gewoon "normale CPU's". Daar heb je ook geen speciale hardware voor nodig. (Uiteraard heeft Oracle haar Exadata-platform, maar het hardware stuk zou je in principe zelf kunnen nabouwen met regulier verkrijgbare componenten.)
GPU's (En dan in specifiek CUDA-cores) worden gebruikt voor een breed scala aan taken als machine learning, moleculaire dynamica simulaties en dergelijke. Dan hebben we ook de "Tensor cores" in GPU's die voor matrixberekeningen bijzonder goed zijn. (Eat bijvoorbeeld gebruikt wordt voor 'beeldherkenning' - Is het een hond, het cijfer drie, een huis, een koffiekopje of een bij.) (Google gebruikt Tensor-cores in ARM-chips voor beeldherkenning)

Vooral die laatste zijn al bijzonder geschikt voor AI-toepassingen.

Maar wat maakt dan een AI-chip? Is dat dan een chip met bijna alleen maar Tensor-cores?

[jaapzb]

CPU's zijn opgezet om heel goed "general purpose" dingen te kunnen doen. Ze kunnen dus "alles" Hierdoor moet je in je ontwerp rekening houden met allerlei verschillende opties en kan je moeilijk shortcuts nemen om specifieke dingen sneller te maken. Aan de andere kant van het spectrum heb je ASICS, die juist heel erg specifiek geprogrammeerd kunnen worden voor 1 specifieke taak. Daartussenin zit een AI-chip of NPU (Neural Processing Unit). Hij is niet zo general purpose als een CPU of GPU, en is niet zo specifiek als een ASIC, maar hij is heel goed in het uitvoeren van instructies die vaak nodig zijn bij AI-gerelateerde toepassingen. Omdat een NPU niet "alles" hoeft te doen kunnen ze bij het ontwerp dus optimaliseren voor deze specifieke functionaliteit.

GPU's zijn weer primair bedoelt om videoprocessing te doen, al zit er ook vaak AI-functies op ingebakken. Op veel grafische kaarten zitten dus de onderdelen van een "NPU" al ingebakken. Een NPU stopt deze onderdelen in een eigen chip waardoor je niet een volledige grafische kaart nodig hebt om toch AI-functies uit te kunnen voeren.

[Reactie gewijzigd door jaapzb op 22 juli 2024 23:31]

[bbstreams]

architectuur en instuctiesets inderdaad, dus hardmatige aanpak, de CPU heeft bv ook software aanboord, zoals een videodriver, maar niet in alle cpu's. server cpus missen vaak video decoden. hardware decoden is nu eenmaal sneller, maar dat hangt veel van het hele ontwerp af.

uiteindelijk zal de hele computer veranderen, naar een compute model, waarbij je de SoC aan elkaar linkt fysiek of je eigen private cloud van devices maakt, dat iedere grote speler dus in eigen AI chips stap is puur een business model, al die chipmakers willen vendor lockin. zodat al die AI tools straks ook de AI chip nodig heeft of ze doen deals zoals apple en MS nu copilot willen aanbieden.

[Reactie gewijzigd door bbstreams op 22 juli 2024 23:31]

[Jan121]

De naam

Het hardwarematig versnellen van bepaalde berekeningen. Vergelijk het met HW-acceleratieblokken voor AES (encryptie) of verschillende videocodecs.

Betwijfel of er een generieke AI-chip bestaat. Generatieve AI of beeldherkenning vereisen andere algoritmes en geheugenconfiguraties. Zelfde voor trainen van modellen of het gebruiken van modellen.

Trouwens de kwaliteit van SW is bij videocodecs altijd beter dan HW. De kwaliteit, maar niet de efficiëntie.

Het integreren van CPU/GPU/(en NPU) en snel geheugen/bandbreedte, zoals Apple doet lijkt erg succesvol voor generiek gebruik.

[Reactie gewijzigd door Jan121 op 22 juli 2024 23:31]

[SPee]

Met een ASIC kun je een deel van de software door hardware laten uitvoeren om zo bepaalde acties te versnellen.

Op een generieke processor zal software continue 'zeggen' wat er gedaan moet worden. Dus een for-loop of matrix berekening zal in software meerdere keren tegen de processor zeggen 'voer deze berekening met deze data uit'. Hoe meer data of aantal berekeningen en de tijd die ervoor nodig is om het af te ronden zal groter worden. Bij een ASIC is dat in de processor ingebouwd en kan deze die specifieke berekeningen zeer snel uitvoeren.

Bij AI gaat het niet zozeer om de berekening, maar om (het verwerken van) de grote hoeveelheden data. Met GPU of TPU kun je al sommige berekeningen versnellen, maar heb je nog een deel nodig voor de generieke verwerking. ByteDance is nu van mening dat hun AI verwerking "perfect" is en wil dat nóg sneller maken. Daarom maken ze daar een speciale processor voor, die een groter deel van de berekeningen hardwarematig uitvoert. Dat is dus niet enkel de matrix berekening, maar dus een groot deel van de tensorflow. Dat kan dus ook met een CPU, maar die is veel langzamer.

Als je het vergelijkt met Bitcoin mining, dat ging ook van CPU -> GPU -> ASIC. Bij die laatste stap van GPU -> ASIC ging de snelheid omhoog, maar kon je niet meer elke coin minen.

[Tweddy]

Wat doet een AI-chip dat een normale chip niet kan?
Oh, ik lees net de bijdragen hierboven

[Reactie gewijzigd door Tweddy op 22 juli 2024 23:31]

[Pinkys Brain]

Het is wel grappig hoe dicht de export restricties bij de NVIDIA Ada architectuur liggen. Het is bij huidige standaarden geen grote beperking voor specialistische chips. Met pipeline/tensor parallelism kun je ook toe met meer kleinere chips, dan hebben ze meteen ook geen HBM nodig.

Zo groot mogelijk maakt het alleen makkelijker om lui te programmeren.

[Osiummaster]

Waarom zouden ze voor Broadcom kiezen in plaats van het Chineze Rockchip?