Tweakers Podcast #318 - Geitjes, TikTok-opties en smarthomestichtingen

Deze week praten Wout Funnekotter, Jurian Ubachs en Arnoud Wokke over het Amerikaanse verbod op TikTok, het draaien van lokale taalmodellen, een stichting voor Home Assistant, de populariteit van Fallout-games en regels rondom minimale ondersteuning van games.

0:00 Intro
0:21 Opening
7:51 .post
24:29 TikTok wordt verboden in de VS, en nu?
33:38 Een lokaal taalmodel lokaal draaien
43:48 Home Assistant komt in een stichting
50:30 Fallout-games zijn ineens weer populair
58:59 Minimale ondersteuning voor games
1:04:48 Sneakpeek

Stel voor donderdagmiddag in de reacties hieronder je vragen aan Nabu Casa-oprichter Paulus Schoutsen

Door Arnoud Wokke

Redacteur Tweakers

25-04-2024 • 06:00

27

Reacties (27)

27
27
16
3
0
11
Wijzig sortering
Maker van GEITje Ultra hier. Leuk dat je met m'n model aan de slag bent gegaan @arnoudwokke! De basisversie GEITje werd ontwikkeld door Edwin Rijgersberg. Die versie heb ik verder ontwikkeld om de kwaliteit van het model als assistent te verbeteren. Gegeven de relatief kleine grootte van het model ben ik best tevreden met het resultaat! Als gebruiker moet je echter geen ChatGPT verwachten - het is veel kleiner en zeker niet zo krachtig. Voor mij is het ontwikkelen van GEITje een stap in de richting naar open-source Nederlandstalige taalmodellen. Ik nodig iedereen graag uit om Ultra hier te proberen: https://huggingface.co/spaces/BramVanroy/GEITje-7B-ultra Het klopt inderdaad dat dit voornamelijk een community effort is: Edwin heeft hier zijn eigen geld tegenaan gegooid voor het trainen van GEITje, ik heb (een pak minder) geld gegooid tegen het aanmaken van data, en via mijn baan als onderzoeker heb ik ook compute verkregen voor het trainen van Ultra. We zijn dus maar enkelingen maar de open-source community groeit elke dag en door zichtbaarheid te geven aan dit soort initiatieven hoop ik dat we in een versnelling geraken.

Je zegt dat je een artikel aan het schrijven bent. Aarzel zeker niet om even in m'n DMs te springen als je verdere vragen hebt. Ik licht graag een en ander toe.

Je had het ook over kleinere Nederlandstalige taalmodellen die je efficiënter kan draaien op minder krachtige hardware. Daarover heb ik binnenkort wat nieuws! 👀 Voor updates kan je m'n Twitter in de gaten houden: https://twitter.com/BramVanroy

[Reactie gewijzigd door BramVroy op 23 juli 2024 14:16]

Ik zit met plezier te luisteren naar jullie bespreking van GEITje!

Het antwoord op de meeste van de vragen die jullie opwerpen kan je vinden op de GitHub-pagina van GEITje of op mijn persoonlijke blog. Waaronder dus: GEITje FAQs: Waarom de naam "GEITje"? ;).

En inderdaad, aarzel niet om contact op te nemen met Bram en mij!
Om toch nog even op beamforming in te haken en te reageren op de reactie van watabstract. Wat watabstract zegt klopt. Antennes zijn omnidirectioneel en beamforming komt door interferentie. Maar dit is ook precies wat er gebeurt als je een schotelantenne richt. Elk piepklein stukje van je schotel is in principe omnidirectioneel (wat precies het Huygensprincipe is). Maar door de vorm van de schotel, interfereert elk klein stukje van je schotel precies constructief in de gewenste richting. Die richting komt door de fase van je radiogolven, en die fase pas je aan door de vorm van de schotel.

Je zou ook hele kleine emitters op een vlak oppervlak kunnen plaatsen, en elke emitter de juiste faseverschuiving mee kunnen geven. Op deze manier kan je zonder de schotelvorm ook richten. Dat is ook precies wat beamforming doet. Hoe meer antennes je hebt, hoe beter je het effect van een schotel kan nabootsen, en hoe beter je kan richten.

Diezelfde techniek wordt gebruikt in bijvoorbeeld de radarinstallaties die Thales maakt met zogenoemde phase-grid arrays. En als je de techniek wat ruimer interpreteert: namelijk het vormen van elektromagnetische golven, is dit ook wat er in de scanners van ASML gebeurt.
Ook starlink werkt met een phased array antenne.
Goede toevoeging! Net even gegoogled, en zelfs in de tweede wereldoorlog had je de Mammut Radar wat ook een phased array was.
Je kan het principe van beam forming ook toepassen op software niveau. Dat wordt bijvoorbeeld gedaan bij de radiotelescoop LOFAR. Die staat als ik me niet vergis ergens in Drenthe. Een hele reeks aan simpele antennes (gewoon een tentstok vorm) staat opgesteld op een weide en ontvangt radiosignalen uit alle richtingen vanuit het heelal. De ruw data van de signalen wordt als ik me goed herinner voor ongeveer een uur lang bewaart op de electronica bij de antennes. Als zich dan ergens in het heelal een radioflits voordoet kan dit gedetecteerd wordt en kan binnen het uur de telescoop (virtueel) scherpgesteld worden op dat punt om te onderzoeken wat het precies was. Als ik me niet vergis wordt dat gedaan door op de ruwe data softwarematig een faseverschuiving in te stellen en een autocorrelatie toe te passen.

De reden dat er maar een uur ruwe data bewaard wordt is vanwege de gigantische hoeveelheden data die al die antennes produceren. Ik meen me ook te herinneren dat ze ook reeksen antennes in andere landen hebben staan die via glasvezel al hun data doorgeven aan een supercomputer ook ergens in Nederland.
Ik twijfelde een beetje of ik telescopen ook moest noemen onder de naam 'phased array'. Het is natuurlijk een inverse. Maar je hebt natuurlijk gelijk. De telescoop maak je door achteraf de fasecorrectie te doen in plaats van vooraf met een schotel.

Ik ben wel benieuwd wat voor data er wordt opgeslagen per antenne. Je kan natuurlijk het elektrisch veld een miljard keer per seconde meten en opslaan. Maar wellicht is het handiger om on-the-fly een Fouriertransformatie te doen elke X milliseconden en dan hiervan de amplitude/fase met een verlaagde resolutie opslaan. Weet jij toevallig hoe dat precies gaat?

Ik weet wel dat de data voor de zwartgatplaatjes op harde schijven per vliegtuig de wereld rond is gegaan, dat heeft een grotere bandbreedte dan het via internet versturen.
Ik kan je helaas geen antwoord geven. Het symposium dat ik gevolgd heb hierover is alweer 11 jaar geleden.

Het was toen een hot item. Ook vanwege de bandbreedte die ze hadden om de data te verwerken. Dat was in de range van 10gbps wat toen echt high end was. Zelfs voor zo’n toepassing het (virtueel) scherp stellen van de telescoop kwam toen neer op het instellen van de fase correctie zoals je aangeeft. Of dat met fourriestransformatie was weet ik niet meer, maar het klinkt wel logisch.

Ze hadden, of hebben nog steeds(geen idee hoe het nu geregeld is) een speciale detectie erin zitten. Namelijk voordat de data volledige gedigitaliseerd en fase gecorrigeerd wordt zat er een buffer in die de ruwe data (en ik weet niet meer aan welke samplesnelheid) voor een uur op sloeg. Daarnaast zat er ook een detectie voor bursts in (ik meen met autocorelatie) om zwarte gaten en supernovae of andere dingen te detecteren. Dit werd dan gemeld en er kon dan beslist worden om de data uit de buffers op te slaan. Of specifieke data eruit.

Ik heb het nog een beetje proberen te volgen daarna maar het enige wat ik meeheb gekregen is dat ze naast de lofar in Drenthe ook andere antennes hebben togevoegd over heel de wereld.

Waaronder schotelantennes is Afrika en Australië. Maar ook een hele hoop antennes in Europa en de VS.

Ik denk zelfs dat je zou kunnen stellen dat door al die antennes te combineren, je een radiotelescoop hebt die (bijna?) de gehele aarde beslaat.

En als ik me niet vergis is dat ontstaan uit een voorstel dat van de TUeindhoven afkomt.
10 gigabit vind ik zelfs erg weinig. Als je elke tiende microseconde het elektrisch veld op wil slaan met dubbele precisie, heb je per antenne 40 MB/s aan capaciteit nodig. En dan kan je maar frequenties t/m 5 MHz opslaan. Hierbij ga ik uit van 4 byte floats en twee meetpunten per oscillatie van je veld (Nyquist). Wil je tot 100 MHz kunnen meten, dan zit je inderdaad al op 1000GB/s.

Over die telescoop ter grootte van de aarde, dat is gedeeltelijk waar. Het oplossend vermogen schaalt met de radius van de telescoop. Misschien weet je dit al, maar just in case. Elk puntje aan de hemel ziet de telescoop als een geblurd vlekje, wat de point spread function van de telescoop is. Die point spread function (PSF) is een Fouriertransformatie van het oppervlak van de telescoop. Als de telescoop één ronde schotel is, dan is je PSF een hoeksymmetrische sinc-functie, volgens mij is dat ook een Besselfunctie, maar dat weet ik zo niet precies.

Stel dat je een telescoop hebt ter grootte van de aarde, dan zou je een superkleine, mooi ronde PSF hebben. Maar het hele aardoppervlak is geen telescoopschotel. Tussen de kleine subtelescopen heb je enorme gaten zitten, want alleen de schotels van de subtelescopen vangen de radiogolven op. Dat betekent eigenlijk dat je uiteindelijke resulterende telescoopschotel een enorme gatenkaas is, met meer gaten dan kaas. De Fouriertransformatie van die gatenkaas is niet een mooi ronde PSF, maar een ingewikkelde blob met erg veel substructuren erin. Dat betekent dus dat je niet alle kleine combinaties van structuren op zou kunnen lossen.

Misschien een beetje een ingewikkeld verhaal, maar de tl;dr is: Die antennes combineren vormt (net niet helemaal) een radiotelescoop die de hele aarde beslaat.
Over Home Assistant: Jullie noemden al Android. Waarom sluiten de Home Assistent mensen niet aan bij bestaande open source licentie initiatieven? Of speelt er meer bij dan alleen het open source houden en gebruiken?
De Linux goeroe's moeten me maar verbeteren, maar volgens mij is een belangrijke reden dat Android open source is, dat ze gebruik maken van de Linux kernel en Android dus wel open source moet zijn omdat de Linux kernel onder de GNU licentie valt (GPL). Waarom niet ook op een dergelijk iets aanhaken?

[Reactie gewijzigd door PrimusIP op 23 juli 2024 14:16]

De source wordt vrijgegeven onder de Apache 2.0 license. Is jouw vraag dan waarom ze voor die license gekozen hebben?
#vraag, wat is het beste wat homeassistant is overkomen? Feature, ontwikkeling, mag alles zijn.
Wat als byteDance een nieuwe app op de markt brengt waar iedereen ook met hun TikTok account op in kan loggen?
En dat elk jaar doet.

En wat als ze dat slechts via investeringen doen in een nieuwe Amerikaanse start-up, waarin ze pas een belang krijgen na een vast gestelde tijd.
(repeat)


Is er ook door Microsoft gelobbyd voor deze wet?
nieuws: ByteDance wijst Microsofts overnamebod op TikTok af, 'kiest voor Oracle'


Is er in de US niet een soort datalek wet? Want als het bewezen kan worden dat die Amerikaanse medewerker persoonsgegevens van Amerikaanse gebruikers naar managers buiten Amerika moest sturen en dat ook heeft plaatsgevonden, leidt dat dan niet tot boetes en sancties?
Of waren de Chinese managers in het verhaal simpelweg mensen van Aziatische afkomst die in Amerika wonen en Amerikaanse burger zijn of werk visum hebben.

[Reactie gewijzigd door djwice op 23 juli 2024 14:16]

Linksquest Moderator Spielerij 25 april 2024 10:39
Weer een hele leuke podcast mannen, iets waar ik iedere week naar uitkijk.
Aanhakend op het bingen: de serie Reacher op Amazon Prime, werd gereleased waarbij de eerste drie afleveringen gelijk beschikbaar waren, en de volgende afleveringen kwamen per week beschikbaar. Dat werkte voor mij heel goed.
#vraag:
Is er misschien een kans dat er een LLM cloud service voor nabu case komt (misschien in combinatie met een partner schap)?
Aanhakend op Phi 3 mini met een leuk feitje: naast de training van Phi 3 mini, zijn er ook zogenaamde "distillatie-modellen" (DistilGPT, DistilBERT, etc.) die eveneens getraind worden in samenwerking met een groter taalmodel.
Het distillatie-model (een kleiner model), wat vaak een studentmodel wordt genoemd, wordt getraind samen met de output van het grotere (docent) model, om de kennis die het grotere model bezit te compressen in het kleinere model. Het kleinere model leert als het ware de kennis te repliceren die het grotere model bezit.
Is dus niet de eerste keer dat modellen worden getraind a.d.h.v. andere modellen!
Dat is in dit geval wel een volledig ander process, natuurlijk dit keer genereer je letterlijk eerst een synthetische dataset, die je dan gebruikt om een model te trainen alsof het eender welke andere data is.
Ik wil eigenlijk wel weer eens een update over de glasvezel van @WoutF . Bij mij zijn net de sprietjes in de straat naar boven gekomen (heeft ook lang geduurd voordat die naar boven kwamen). Kijken wie er eerder de glasvezel in de meterkast heeft... (of ben ik die update gewoon al misgelopen en heeft Wout zijn lichtdraadje al helemaal werkende?)

Op dit item kan niet meer gereageerd worden.