Ontwikkelaarsversie Opera One bevat optie om llm's lokaal te draaien

De ontwikkelaarsversie van Opera One bevat een nieuwe functie waardoor gebruikers een large language model lokaal op hun computer kunnen draaien. Opera biedt meer dan 150 verschillende llm’s aan en claimt dat data van gebruikers uitsluitend op de apparaten zelf wordt verwerkt.

De nieuwe functie zit volgens Opera in een nieuwe versie van Opera One Developer vervat. Deze ontwikkelaarsversie versie van de browser kan via de website van Opera gedownload worden. Eenmaal gedownload, kunnen gebruikers kiezen uit verschillende taalmodellen waaronder Llama van Meta, Mixtral van Mistral en Gemma van Google. Sommige taalmodellen zijn enkele gigabytes groot, terwijl anderen tientallen gigabytes aan opslagruimte nodig hebben.

Opera maakt gebruik van Ollama. Dat is een opensource framework waarmee gebruikers llm’s lokaal kunnen draaien. De taalmodellen die Opera aanbiedt, zouden volgens TechCrunch ook tot de Ollama-libraries behoren. Opera zou op een later moment ook zelf geselecteerde llm’s willen aanbieden.

Taalmodellen in Opera One Developer

Reacties (16)

[RoyD]

Tijd om maar weer eens Opera te gaan testen.

[Creesch]

Kan je beter gewoon ollama zelf draaien https://ollama.com. Aangezien het er op lijkt dat ze hier simpelweg van gebruik maken en er een chat interface om gebouwd hebben. Dat laatste kan je ook in andere Chromium browsers met een extensie zoals page assist. Daarnaast heb je dan ook nog eens vrije keuze uit tientallen andere implementaties rondom Ollama.

[Caelorum]

Hoezo? Er zijn heel veel tools om lokaal LLMs te draaien. llama.cpp, LM Studio, ollama, etc.

[henk717]

Wil toch je lijst even aanvullen met Koboldcpp, dat is een open source fork van Llamacpp. Emuleert o.a. de OpenAI API, portable dus geen systeem brede wijzigingen zoals bij ollama. Heeft een eigen interface die te gebruiken is vanaf het netwerk dus je bent niet lokaal gebonden zoals bij LMStudio en de interface heeft een focus op hobby gebruik dus je kunt hem goed gebruiken voor leuke dingen zoals text avonturen, verhalen en chatbots naast het gebruikelijke instructie gebruik.

[Webgnome]

En wat doet een llm in een browser? Of mis ik hier iets?

[Creesch]

De functionaliteit is op zich best logisch:

• Samenvatting maken van lange teksten.
• Concepten uitleggen die je online tegenkomt.
• Helpen bij het verwoorden van reacties online.
• etc.

Alleen kan dat ook bereikt worden met een simpele browser extensie en betere stand alone tooling (zie ook mijn reactie hier)om LLMs lokaal te draaien. Maargoed, dit soort zaken is waar Opera ondertussen wel om bekend staat. Zo zitten er wel meer integraties in waar ik mij van afvraag wat de meerwaarde is ten opzichte van PWAs of browser extensies.

[LOTG]

Opera heeft die integratie in de browser al en dit is een uitbreiding daar op die je een LLM laat selecteren in plaats van die wat er nu standaard (en niet lokaal geloof ik) in zit.

Ik denk dat de toegevoegde waarde hier is dat het met een paar kliks geregeld is en je niet zelf zaken hoeft te configureren.

[Creesch]

Ik denk dat de toegevoegde waarde hier is dat het met een paar kliks geregeld is en je niet zelf zaken hoeft te configureren.

Het installeren van Ollama is ook niet veel meer dan deze uitvoeren, daarna een model selecteren en je kan er meer aan de slag. Aangezien het er heel erg op lijkt dat Opera niet heel veel meer doet dan Ollama wrappen zou ik zelf kiezen voor Ollama direct gebruiken.

[LOTG]

Voor zo ver ik kan zien heeft ollama geen UI, ik weet niet of alle features van Aria gesupport worden maar die zien er wel handig uit.

Ik denk dat het wel wat meer werk is om het zelfde te bereiken wat Opera nu out of the box bied. Niet alleen de LLM, maar ook de UI en integratie voor verschillende toepassingen.

[Creesch]

Valt reuze mee, zo is er voor Ollama al een browser extensie beschikbaar in de vorm van page-assist.

Dan heb je dus in elke Chromium browser vergelijkbare functionaliteit zonder echt heel veel meer moeite te hoeven doen.

Bovendien zijn er dus legio andere integraties beschikbaar voor Ollama die integreren met zaken zoals notitie applicaties.
Wat het vanuit mijn perspectief ook een stuk interessanter maakt, omdat je met meerdere toepassingen kan experimenteren.

[LOTG]

Als ik het goed begrepen heb heeft Opera One momenteel een LLM die je via de sidebar kunt gebruiken (Aria), waar je dus dingen in kunt typen net zo als in een website als ChatGPT.

Deze nieuwe optie laat je dus een andere LLM kiezen hier voor en die lokaal draaien.

Dus vergelijkbaar met hoe copilot in Edge werkt denk ik.

[LOTG]

Ik mis zowel hier als in het bron artikel wel wat informatie over de specs om dit lokaal te draaien en wat de performance is.

Afhankelijk van het model is het Ram gebruik wel aanzienlijk (ongeveer 1GB per 1B parameters) maar over cpu/GPU lees ik niets, en ook niet over de snelheid.

[Coolstart]

Ze laten wel weten dat de het niet zo snel is als cloud-versies van llm’s. Los van Opera voel ik hier wel een nieuwe chip-war aankomen die elkaar bekampen met GPU’s of dedicated AI accelerators.

Apple heeft nu al unified memory tussen GOU en CPU. Voor wat het waard is kan je vrij ‘eenvoudig’ (lees duur bijkopen) de GPU of neural engine extra geheugen toekennen om een groot LLM model lokaal te draaien.

Mijn gokje/voorspelling: lokale AI wordt de nieuwe drijfveer om nieuwe/dure hardware te pushen. Vooral voor devs wordt dit aanbod aantrekkelijk omdat dit hun in staat stelt AI op hun code los te laten zonder dat hun broncode naar derden gedeeld wordt. Het zelfde voor bedrijven die eigen AI gaan trainen of voeden met kritieke bedrijfsinformatie of lokale AI willen draaien op medische data.

[xenn99]

Zijn dit soort lokale modellen nou net zo goed als bijvoorbeeld een ChatGPT(3)?
Ik gebruik die vaak om Aziatische boeken te vertalen, maar na een paar hoofdstukken blokkeert die site.
Als het allemaal lokaal kan met dezelfde kwaliteit zou dat wel wat gedoe schelen..

[Reactie gewijzigd door xenn99 op 22 juli 2024 15:41]

[zx9r_mario]

Ik heb het even geprobeerd een een lokale LLM (llama2:13b-chat-q4_K_M) van ca 8Gb gedownload.

Op een Macbook Pro I7 duurde het een kwartiertje om dit genereren:

maak een tekst over nederland

Nederland, a land of beauty and wonder, Where the windmills spin and the tulips bloom, A country of canals and cycling routes

Update: Met Mistral dataset gaat het veel vlugger. Als Tweaker heb ik weer een nieuwe hobby erbij

[Reactie gewijzigd door zx9r_mario op 22 juli 2024 15:41]

[Gloriam]

Leuk dat Opera weer nieuwe dingen bouwt in hun browsers, maar ze mogen toch echt even keer een goeie maand spenderen aan bugs.