Populariteit Mac mini uit 2024 stijgt onder tweakers, mogelijk door OpenClaw

Digital ocean …. Not under my control, Mac mini in mijn eigen rack in de kelder wel en mijn privacy is mij veel meer waard. Althans zo zou ik redeneren

Veel AI software draait beter op macos dan bijv. op linux.

Zou er ff mee wachter tot de M5 versie er is

Ik was ook al aan het denken dat het ook gewoon kan komen doordat de Mac mini nog stabiel blijft qua prijs en daardoor relatief aantrekkelijker wordt als alle andere PC hardware duurder wordt.

30EUR duurder nu, valt mee toch. En bij Apple is die 599EUR

Ook Apple loopt nu tegen het gebrek aan produktie-capaciteit aan voor hun nieuwe computers en telefoons. Ja, men had daar wat RAM op voorraad, maar ging sneller op dan verwacht.

Denk niet dat Apple hun marge op hun apparaten vermindert, dus de prijs van M5 Macs en iPhones zal ook flink omhoog gaan.

Eigenlijk zou je erop moeten hopen dan China Taiwan binnenvalt. Het is leuk dat TSMC nu op meerder plaatsen ter wereld een chip-fabriek heeft staan. Maar deze produceren alleen de wafers voor chips. Omdat alles tegenwoordig uit meerdere lagen wafers bestaat, zijn de chip-packaging faciliteiten heel belangrijk geworden. En deze staan praktisch allemaal in Taiwan.

Mocht China Taiwan binnenvallen, dan komt dat packaging helemaal tot stilstand. En daarmee dus ook alle nieuwe AI GPUs voor datacenters, alle RAM en VRAM enz. En daarmee klapt de AI-bubbel met 100% zekerheid, want niemand kan de beloftes van investeringen in AI waarmaken en aangezien er zoveel bedrijven overmatig veel hebben toegezegd, dat gaat een boel bedrijven de kop kosten. OpenAI en zelfs NVidia zal het heel moeilijk gaan krijgen.

Dan heb je het over Mac Studio's. En daar hangen heel andere prijskaartjes aan. De 512 GB variant met M3 chip kost je al 10.000 USD, dus dat zal vast uitdraaien op 10.000 Euro in Nederland. Je beoogde 128 GB Mac zal je zeker zo'n 2500 Euro gaan kosten. Dat wil zeggen, de M3 versie.

Schijnt ook zo te zijn dat de M3 modellen van de Mac Studio van zichzelf hogere geheugennandbreedte heeft dan de M4 modellen. Mocht je lokale LLMs willen draaien, dan is geheugenbandbreedte belangrijker dan CPU kracht.

En ga je lokaal draaien, verdiep je dan in alternatieven voor llama.cpp. Deze software maakt het lokaal draaien erg makkelijk, maar je offert wel snelheid en concurrency daarmee op. Niet zo'n probleem, als jij de enige AI gebruiker bent, maar als meerdere personen gebruik willen maken van je lokale LLM, dan is het wel degelijk een probleem.

Ja, ik weet dat je tegenwoordig met llama.cpp enkele taken tegelijkertijd uit kan voeren (via LM Studio bijvoorbeeld). Zo'n succes is dat tot op heden niet gebleken. Mijn persoonlijke testset van 50 vragen (simpele en complexe vragen), elke keer gaat dat fout. Of ik nu 4 parallelle taken/vragen uitstel, of 3 of zelfs 2, elke keer krijg ik foutmeldingen terwijl mijn GPU nog zo'n 7 GB VRAM vrije ruimte heeft.

Ben op dit moment 'Falcon-hr1-7b' aan het testen en het is zeker niet de snelste lokale LLM, maar levert wel heel veel goede antwoorden af. Ook als de vraagstelling complexer wordt. Zelfs met de coderingsopdrachten die ik geef, is het verschil merkbaar.

En nu ik via MCP deze lokale LLMs toegang tot het internet kan geven, alsmede 'sequentieel denken', maar ook gewaar maak van tijd, zijn die lokale modellen flink wat capabeler geworden. Nee, ze zijn niet zo goed als de modellen in de cloud, Maar dat hoeft in een heleboel gevallen ook niet. En je kan daardoor heel veel tokens in je (dure) abonnement besparen.

Wat iets is waar je rekening mee zal moeten houden, als abonnementen van de cloudversies reeel worden geprijsd. En nee, ook de 200 USD/maand abonnementen dekken de gemaakte kosten niet. Zelfs de nog duurdere abonnementen doen dat niet. Hoe onlogisch dat misschien klinkt, dat zijn de woorden van S. Altman (baas bij OpenAI).

Is OpenClaw zonder API-tokens niet werkbaar?

heb nog geen use-case voor iets als openclaw, dus wellicht eerst maar eens iets bedenken voordat ik de gratis credits erdoorheen blaas zonder doel :p

Ik heb een 'gentleman's agreement' met m'n Openclaw "Jarvis" dat ie bij mijn mail kan en agenda kan, maar niks mag doen zonder dat ik toestemming geef. En bij bepaalde acties zeg ik gewoon 'ja dit mag je gewoon doen zonder verdere vragen, leef je uit' en dan gebeurt dat ook.

Mails versturen mag per definitie niet tenzij ik echt nadrukkelijk zeg dat het wél mag. Zo heb ik bijv. elke ochtend een cybersecurity-nieuwsbriefje in HTML-formaat op mijn werk-mailadres (Jarvis praat alleen met m'n persoonlijke mail!) want hij weet dat 'ie dát mailtje wel gewoon mag sturen.

Voor de rest vraagt ie me altijd om toestemming en doet alleen suggesties zoals "ik zou dit kunnen beantwoorden met <tekst> .. is dat ok?"