OpenAI geeft betalende klanten toegang tot plug-ins en ChatGPT die kan browsen

OpenAI is begonnen om betalende klanten toegang te geven tot plug-ins voor ChatGPT en een versie van zijn chatbot die zoekopdrachten op internet kan uitvoeren. Tot nu toe waren die functies veel beperkter beschikbaar.

OpenAI zegt dat het bedrijf vlak voor het weekeinde is begonnen met het aanbieden van de functies aan betalende klanten. Die kunnen in hun instellingen vinkjes zetten om functies in bèta te proberen, waaronder nu dus plug-ins en browsing. Vervolgens zijn die te gebruiken door boven in beeld het model aan te passen. In beide gevallen zijn het varianten van GPT-4.

OpenAI heeft beide functies al eerder aangekondigd. De aankondiging van plug-ins was in maart. Er zijn inmiddels zeventig plug-ins, zegt het bedrijf. Bij het browsen gaat ChatGPT op internet zoeken en proberen op links te klikken om zo recente informatie te gebruiken. De chatbot geeft ook bronlinks voor de data. De trainingsdata van GPT-4 loopt tot september 2021, maar dankzij het browsen kan de chatbot beschikken over recente info.

Browsing in ChatGPT, mei 2023Browsing in ChatGPT, mei 2023Browsing in ChatGPT, mei 2023Browsing in ChatGPT, mei 2023

Door Arnoud Wokke

Redacteur Tweakers

15-05-2023 • 12:01

115

Reacties (115)

115
112
35
5
0
63
Wijzig sortering
Ik zocht "what is the latest version of Elastic Search". Antwoord: 8.7.0. Even zelf browsen naar de website: 8.7.1.
Het is daarnaast ook echt rete traag als je iets zoekt. Nog niet heel erg onder de indruk dus, maar al wel beter dan het limiet op de bestaande getrainde data.
Voor dat soort directe eenvoudige vragen zal gewoon naar de site van elastic gaan voorlopig sneller en betrouwbaarder zijn verwacht ik.

ChatGPT presteert veel beter bij meer open vragen. Zoals geeft een overzicht van search engines die ik in mijn pakket kan integreren. en geef elk een voorbeeld in taal X.

Daarnaast zou het mij niets verbazen als openAI niet alles realtime ophaalt en verwerkt en sterk cached.
Ik zou 'm omdraaien en vind de claim "ChatGPT presteert veel beter bij meer open vragen" best gevaarlijk. ChatGPT is een ontzettend gaaf systeem, maar ook niet makkelijk te "controleren" of te "volgen" door mensen:

In de comment van @meowmofo en van jou lees ik:
- Wij kunnen als mensen makkelijk constateren dat 8.7.1 goed is en 8.7.0 een fout antwoord is.
- Wij kunnen als mensen makkelijk denken of het antwoord op een open vraag "correct" is.

Of, bij gebrek aan objectieve "correctheid"; of het antwoord wenselijk is. Want is het antwoord wel wenselijk dat ChatGPT komt met "Google, Duckduckgo en Bing zijn goede zoekmachines"? Is dat simpelweg omdat wij als mensen niet zo snel kunnen beschikken over alle kennis over alle duizenden zoekmachines en alleen maar op gevoel kunnen denken "goh, als ik m'n collega het gevraagd had, had die vast hetzelfde antwoord gegeven, dus heeft ChatGPT het goed bedacht". Terwijl dat natuurlijk niet zo hoeft te zijn. Correctheid is hier niet zo simpel als een 8.7.1 is goed en 8.7.0 is fout, en dat maakt het verschrikkelijk moeilijk om in de gaten te houden of een transformernetwerk als dat van ChatGPT je werk in een wenselijke of onwenselijke richting stuurt als je het gebruikt.

Verder heb ik laatst een zin gehoord die maar niet vaak genoeg herhaalt kan worden: ChatGPT is geen entiteit, geen individu, beredeneert niet, bedenkt niets, beargumenteert niets - ChatGPT is feitelijk een ontzettend fancy auto-complete voor je prompt.
En de laatste paragraaf is precies wat het is, het genereert een antwoord. Het antwoord kan (in)correct, volledig verzonnen of met een bias. Dat laatste is een vervelende eigenschap waar ze volgens mij wel maatregelen voor nemen.

Het is vergelijkbaar met de stelling: de eerste link uit een Google zoekopdracht is de waarheid en geeft volledig antwoord op je vraag. Ik snap de verwarring wel hoor, generatieve AI genereert iets wat heel plausibel is, in je eigen taal, geen spelfouten.... Alsof er een AI achterzit die wel is wat je in je paragraaf aangeeft dat het absoluut niet is.
Ik zou juist verwachten dat zo'n simpele vraag een correct antwoord moet kunnen opleveren. Als je zelf zoekt krijg je 8.7.1 in de resultaten terug. Je mag dan toch verwachten dat ChatGPT snapt dat 8.7.1 een hogere versie is dan 8.7.0.
Waarom zou je AI nodig hebben om achter het actuele versienummer van een softwarepakket te komen ?
Je mist het punt. Dit was een testje om te kijken of die integratie een beetje werkt. Daarom is de testvraag opzettelijk makkelijk te controleren.
Waarom geeft de ‘AI’ geen accuraat antwoord?
Omdat de AI niet perse weet wat een betrouwbare bron is. Wanneer je dan 20x het ene antwoord krijgt en 1x de andere is de conclusie denk ik niet zo vreemd. Het is een large language model en het haalt het antwoord niet uit slechts 1 bron. Als je dat wilt zal je dus gewoon zelf moeten zoeken.
Wanneer ik die vraag stel aan de bot, krijg ik een hele berg hyperlinks naar de officiële website van Elastic Search.
Sorry, wat is "die" vraag?
Vraag:
where can I find reliable information about Elastic Search?
Antwoord:
Here are some reliable sources for information about ElasticSearch:

1. **Official Documentation**: The most reliable source is always the official documentation. ElasticSearch's documentation is comprehensive and provides details about the different features and functionalities of ElasticSearch. You can find it at: https://www.elastic.co/guide/index.html

2. **ElasticSearch: The Definitive Guide**: This book is co-authored by the creators of ElasticSearch and provides a deep dive into the software. It's also available online for free at: https://www.elastic.co/gu.../guide/current/index.html

3. **Online Courses**: Websites like Coursera, Udemy, and edX often have courses on ElasticSearch. Make sure to check the reviews before signing up to ensure the quality of the course.

4. **Stack Overflow**: If you have specific questions or run into problems, Stack Overflow is a good place to look. There's a good chance someone else has had the same question or problem, and the community is generally very helpful: https://stackoverflow.com/questions/tagged/elasticsearch

5. **GitHub**: ElasticSearch's source code and various related projects are hosted on GitHub. It can be a great resource if you're looking to understand how something works under the hood: https://github.com/elastic/elasticsearch

6. **ElasticSearch Community**: Elastic.co has a forum for ElasticSearch users where you can ask questions and share knowledge with others in the community: https://discuss.elastic.co/c/elasticsearch

7. **Blogs and Tutorials**: There are countless blogs and tutorials online that can provide useful insights and help you get started with ElasticSearch. Just make sure they're from reputable sources and are up-to-date.

8. **Books**: Other than the definitive guide, there are several other books about ElasticSearch like "Elasticsearch in Action" and "Mastering Elasticsearch". They can be found on online bookstores like Amazon.

Remember that ElasticSearch is a rapidly evolving technology, so always make sure that the information you're reading is up-to-date.
Om dezelfde reden dat een Google search je ook meerdere antwoorden oplevert.
Als je ChatGPT opent is een van de disclaimers die je dan kan lezen de volgende: "Limited knowledge of world and events after 2021". Hierdoor is deze dus niet up-to-date van alle nieuwste sw releases.
Waarom dat is ? Ik stel me voor dat het met de trainingset te maken heeft.

[Reactie gewijzigd door tomskio op 25 juli 2024 12:57]

Daar gaat het dus juist om. Die 2021 slaat op de trainingsdata. Maar nu heeft het ding dus ook de mogelijkheid het internet te raadplegen, dus actuele dingen na te gaan, en dan is het vragen om een recente versie niet eens zo'n slechte use-case om te testen hoe recent dit is.

Zonder uit te zoeken hoe ze dit technisch hebben gedaan, ga ik er vanuit dat er een zoek machine geknoopt is aan de bot, en dat deze als meest recente data de gecrawlde data heeft, en niet de actuele inhoud van pagina's.
Het punt wat maar heel weinig mensen schijnen te snappen is dat deze AI geen enkele 'intelligence' heeft.
OpenAI snapt inhoudelijk niet wat het aan het doen is. En daarom dat het dus vaak met compleet verkeerde antwoorden komt, want pijnlijk duidelijk word als je het een simpel te verifieren vraag stelt.

Waarschijnlijk komt 8.7.0 veel vaker voor in de resultaten die het ziet, dus statistisch gezien zal 8.7.0 dan wel het beste antwoord zijn.
Aha, idd. Point taken. Met een beetje liefde wil ik dat nu ook wel zo uit het artikel interpreteren. Maar super duidelijk is het niet. Bedankt voor de verheldering.

Zie nu ook dat het voorbeeldje gaat over het vrij recente songfestival.

[Reactie gewijzigd door tomskio op 25 juli 2024 12:57]

Omdat de AI alleen een generatieve AI is, het genereert tekst op jouw prompt. Het is geen waarheidsgetrouwe antwoordapparaat.
Omdat veel dingen worden vernieuwd en morgen kan de waarheid van gisteren al verouderd zijn 😉
Je snapt zelf toch ook wel dat dit gewoon even een test is om te kijken hoe/of het werkt?
Dat is dan een matige test. Je had chatgpt kunnen vragen een stuk code uit te leggen. Of om een unittest te schrijven voor een functie. Dat is veel interessanter.
Dat is dus onzin, want er staat letterlijk bij de optie "Try a version of ChatGPT that knows when and how to browse the internet to answer questions about recent topics and events".

Uit die zin maak ik op dat ChatGPT deze informatie dus correct zou moeten kunnen opzoeken en verwerken, en dat doet ie precies nu niet.
Volgens mij heeft het taal model, chat gtp problemen met nummers. Hij rekent fout en ik denk dat dit probleem ook daar vandaan komt. Het komt momenteel wel met een recente versie, maar volgens mij kikkt ie nog niet naar nummers als in versie nummers. Zal wel de meeste frequente vaak voorkomende zijn ipv laatste. Dat zal in de toekomst wel verbeterd worden. Maar dan zou software een versie moeten hebben. Ik denk dat ze dat eerste wel getackeld hebben (het is software) maar niet, beschikbaar in die versie met die cve etc.
Ja dat snappen we, het is alleen geen erg goede test voor een AI. Het is een tekst genereer systeem met die zoals in de voorwaarden staat niet 100% bij is met de buitenwereld. ( "Limited knowledge of world and events after 2021")

Deze vraag (over versies) houd geen rekening met de van te voren gestelde limieten van de AI.
bij het samenstellen van een softwarepakket, kan het handig zijn om een overzicht op te vragen met hun actuele versienummer, nu krijg je dus een verkeerd versienummer. Kortom het is nu alsnog makkelijker en sneller om alles zelf te doen, anders moet je continue check double check.
Omdat het ding gebouwd is om mensen na te doen en mensen maken fouten. AI dus ook.
En wellicht had de AI gewoon niet recent gecontroleerd....

Blijkbaar verwacht je dat de AI perfect is. Dat is geen realistische of correcte verwachting.
Blijkbaar verwacht jij dat de AI vergelijkbaar als een mens begrijpt dat ie moet zoeken wat het laatste versie nummer is. En dat ie dat het beste bij de leverancier op de site kan nazoeken.
Maar zo werken deze AI's niet.
Dit is een AI om een antwoord te genereren dat er uit ziet alsof het door een mens geschreven kan zijn. Het snapt inhoudelijk niet wat je vraagt. En daarom komt het met een verkeerd antwoord.
Dit is natuurlijk lariekoek. Als je de AI om een versienummer vraagt, en hij geeft je een gedicht terug, dan snapt die AI je vraag niet.

Maar precies uit het feit dat ChatGPT het antwoord 8.7.0 geeft volgt dat ChatGPT je vraag exact heeft begrepen.

De fout die de AI hier maakt is om nieuwe feiten onvoldoende gewicht te geven relatief ten opzichte van oudere feiten. Dat is voor een taal model begrijpelijk lastig.
Maar precies uit het feit dat ChatGPT het antwoord 8.7.0 geeft volgt dat ChatGPT je vraag exact heeft begrepen.
Wauw. wat een gigantische miskleun maak je daar zeg.

Daaruit volgt totaal niet dat de vraag exact is begrepen.
- Als de vraag exact was begrepen, dan was er het juiste antwoord gekomen.
- Het is vanzelfsprekend dat bij een zoekopdracht een oud versie nummer in eerste instantie meer voorkomt dan een net nieuwe versie. Dat ChatGPT het oude versie nummer geeft betekent dus totaal niet dat de vraag exact is begrepen, maar kan ook gewoon betekenen dat de tekst 8.7.0 meer voorkomt in combinatie met versie van tool A en ChatGPT daarom daar de voorkeur aan heeft gegeven.
Dan heeft het de vraag totaal niet begrepen. Het heeft alleen begrepen dat het iets moet zoeken over versie en tool A en daar komt dan automatisch (per ongeluk) dat nummer bij mee.
De fout die de AI hier maakt is om nieuwe feiten onvoldoende gewicht te geven relatief ten opzichte van oudere feiten.
En die fout maakt de AI omdat het niet weet wat een versie is, en dus ook niet kan concluderen dat een hogere versie nieuwer is en het daarbij niet uit maakt hoe vaak die versie voor komt in zijn resultaten. 1 keer die nieuwste versie tegen komen is voldoende.

Je spreekt jezelf gigantisch tegen. Hier geef je aan dat dat voor een taal model heel lastig is. En dat is ook precies wat ik zeg.
Maar daarnaast zeg je dat ChatGPT de vraag exact heeft begrepen. Dat kan niet allebei tegelijkertijd waar zijn.
Nee, dit weerlegt mijn argument in het totaal niet. Het is aannemelijker dat ChatGPT de 8.7.1 informatie heeft gezien als een aankondiging, speculatie of iets dergelijks, en nog niet als betrouwbaar.

Je hoeft niet verder te kijken als Tweakers en alle reacties hier die al de Nvidia RTX 5090 noemen om in te zien dat een enkele vermelding nog niet een betrouwbaar feit is.

Kortom, ChatGPT heeft de vraag prima begrepen, een redelijke search gedaan, maar de web search resultaten verkeerd gewogen.
Dat is jouw mening, maar die heeft niet meer waarde dan mijn mening.
Op basis van de feiten is niet vast te stellen hoe ChatGPT tot dat verkeerde antwoord is gekomen.
En daarom kun je niet claimen dat ChatGPT de vraag "exact" heeft begrepen. Dat is alleen maar een interpretatie van jou die je niet feitelijk kunt onderbouwen.
Je geeft het immers zelf al aan: "Het is aannemelijker"

Aannames zijn geen feiten.
Blijkbaar verwacht jij dat de AI vergelijkbaar als een mens begrijpt dat ie
Nee dat is totaal niet wat ik zeg. Ik zeg dat hij gemodelleerd is om zich te gedragen als een mens. Aangezien het artikel gaat over dat de AI nu op een site kan zoeken voor actuele kan de AI de vraag in theorie beantwoorden. Echter dat iets kan wil net als bij mensen ook niet zeggen dat het gebeurd.
Het hele idee van dit ding is zich overigens gedragen alsof hij het snapt. Dat is ook weer wat heel veel mensen doen en ook bij mensen komt vaak het verkeerde antwoord.

Dit ding is niet bewust of zo, maar eerlijk gezegd, van veel mensen denk ik hetzelfde.
Uiteraard is het niet noodzakelijk dat het precies weet wat zij moet zoeken, maar ik ga ervan uit dat de AI in de opdracht eerst zal controleren wat de betekenis is van "Versienummer". Op basis daarvan zal ze al snel tot de conclusie komen dat het hoogste cijfer de meest recente versie aangeeft. Daarom moet de AI dus zoeken naar het hoogste cijfer, en niet alleen naar het nummer met de meeste hits of het meest recent gepubliceerde cijfer op internet.
Op basis daarvan zal ze al snel tot de conclusie komen dat het hoogste cijfer de meest recente versie aangeeft.
Een AI in de traditionele zin van het woord zou dat kunnen ja.
Maar een Large Language Model is veel beperkter. Die komt niet tot die conclusie.

Een LLM bepaald wat het meest waarschijnlijk volgende woord in een zin zou zijn. Maar het snapt niet inhoudelijk wat die zin betekent.

Het zal dus proberen te bepalen wat het meest waarschijnlijke woord (tekst/getal) is na de woorden: "latest version of Elastic Search"
Maar het komt dus niet tot de conclusie dat een versie een nummer moet zijn, of dat de meest recente versie het hoogste getal moet zijn.
Als het dus heel veel 8.7.0 tegen komt, en maar weinig 8.7.1 dan zal het concluderen dat 8.7.0 waarschijnlijk de beste tekst is na de woorden: "latest version of Elastic Search"

Doordat een LLM een leuk klinkende tekst kan produceren denken mensen dat die AIs veel geavanceerder zijn dan in werkelijkheid het geval is.

Zoals Helium-3 eerder al heel mooi aangaf: "Het is een zeer fancy auto-complete voor je prompt".

[Reactie gewijzigd door mjtdevries op 25 juli 2024 12:57]

We weten ook high-level wel redelijk hoe een AI informatie opslaat. Net zoals jouw hersenen is een feit in AI niet gelokaliseerd. Het woord "versienummer" is geassocieerd met duizenden neuronen. Veel van die neuronen zijn óók geassocieerd met software.

Een LLM AI begrijpt dus woorden door de goede context van die woorden te bepalen. En zo kan een AI dus het verschil tussen een bank (meubilair) en een bank (bedrijf) begrijpen uit de semantische context.
Als deze AI dat daadwerkelijk had begrepen, dan had ie het juiste antwoord gegeven.

Dat kleine testje bewijst dat de AI het niet heeft begrepen, en dan jouw uitleg dus niet klopt.
Gezien dat deze twee weken geleden is uitgekomen, prima toch? Wat ik zou verwachten is dat chatgpt ook een link zou geven naar de uitslag, ik.. en ook niemand kan je de juiste info geven zonder naar de bron te verwijzen. Ook chatgpt kan dat niet.

Wellicht dat chatgpt wel correcte informatie heeft over andere zaken?

Dit is wel erg naïef van je als je er zo naar kijkt…
Het is er nog niet helemaal inderdaad, laatst speelde ik een bordspel Axis & Allies 50th Anniversary edition, ik vroeg verduidelijking over een specifieke situatie in het spel met versienummer van het spel vermeld erbij, het antwoord wat ik voor waar aan nam, bleek later niet te kloppen met het regelboek, hij had dus de regels van een andere versie verward met de versie die ik speelde. Wellicht is het een idee om in de vraag erbij te vragen om de link naar zijn bron om dat even te checken nog?
Ik heb wel eens een bron gevraagd, maar dan zegt hij "weet ik niet" blijkbaar heeft dat ding alleen ruwe data gekregen volgens zijn eigen uitleg, zonder de url waar het vandaan kwam.... Of wellicht stelde ik de vraag verkeerd. Misschien is het voor quotes uit boeken anders. Dat zou ik nog moeten testen.
Dit laatste punt kan ik wel bevestigen, is ook het geval met Bing.
Ik merk wel dat als je iets reageert van: "Ben je zeker? Kan je het nog eens checken?",
dat 'ie wel gewoon verse data lijkt op te halen en meer up-to-date informatie geeft.
ChatGPT met plugins en dan de WebPilot plugin vind het wel

Vraag: what is the latest version of Elastic Search

Antwoord:

Used WebPilot

REQUEST TO WEBPILOT
{
"link": "https://www.elastic.co/downloads/elasticsearch",
"user_has_request": false
}

RESPONSE FROM WEBPILOT
{
"title": "Download Elasticsearch | Elastic",
"content": "Platform\nUse cases\nPricing\nCustomers\nResources\nCompany\nTry free\n\nHave questions?\n\nContact us\n\nAlready have an account?\n\nLog in\nDownload Elasticsearch\n1\nDownload and unzip Elasticsearch\nChoose platform:\nLinux x86_64\nLinux x86_64\nsha\nasc\nPackage managers:\nyum, dnf, or zypper\napt-get\nContainers:\n\nDocker\n\nElasticsearch can also be installed from our package repositories using apt or yum. See Repositories in the Guide.\n\n2\nStart Elasticsearch\n\nRun bin/elasticsearch (or bin\\elasticsearch.bat on Windows) to start Elasticsearch with security enabled.\n\n3\nDive in\n\nSee our documentation for the latest up-to-date information.\n\nDOCS\nGetting started guide\n\nLearn more\n\nON-DEMAND WEBINAR\nGetting started with Elasticsearch\n\nLearn more\n\nSummary\n\nVersion: 8.7.1\n\nView past releases\n\nRelease date: May 02, 2023\n\nDetailed release notes\n\nLicense: Elastic License 2.0\n\nElastic License 2.0\n\nSupported OS/JVM/Browser\n\nSupport Matrix\n\nNotes:\n\nRunning on Kubernetes? Try Elastic Cloud on Kubernetes.\n\nThis default distribution is governed by the Elastic License, and includes the full set of free features.\n\nWant it hosted? Deploy on Elastic Cloud.\n\nTry it out for free for 14 days — no credit card required.\n\nStart free trial\nNew around here?\n\nView our getting started page to get acquainted with the Elastic Stack.\n\nGet started\nAdditional resources\nDocs\n\nElastic's documentation helps you with all things implementation — from installation to solution components and workflow.\n\nForum\n\nHave a question? Our community has the answers. Connect with other users and Elastic employees.\n\nGitHub\n\nAccess free and open code, rules, integrations, and so much more for any Elastic use case.\n\nSubscribe to our newsletter\nSubmit\n\nBy submitting you acknowledge that you've read and agree to our Terms of Service, and that Elastic may contact you about our related products and services, using the details you provide above. See Elastic’s Privacy Statement for more details or to opt-out at any time.\n\nFollow us\nPRODUCTS & SOLUTIONS\nEnterprise Search\nObservability\nSecurity\nElastic Stack\nElasticsearch\nKibana\nIntegrations\nSubscriptions\nPricing\nCOMPANY\nCareers\nBoard of Directors\nContact\nRESOURCES\nDocumentation\nWhat is the ELK Stack?\nWhat is Elasticsearch?\nMigrating from Splunk\nOpenSearch vs. Elasticsearch\nPublic Sector\n\nLanguage\n\nEnglish\nTrademarksTerms of UsePrivacySitemap\n\n© 2023. Elasticsearch B.V. All Rights Reserved\n\nElasticsearch is a trademark of Elasticsearch B.V., registered in the U.S. and in other countries.\n\nApache, Apache Lucene, Apache Hadoop, Hadoop, HDFS and the yellow elephant logo are trademarks of the Apache Software Foundation in the United States and/or other countries.",
"todo": null,
"rules": [
"Use the language that the user previously used or the language requested by the user.",
"Respond to the user's request, which may include asking questions or requesting specific actions (such as translation, rewriting, etc.), based on the provided content.",
"If the user does not make a request, perform the following tasks: 1. Display the title in the user's language; 2. Summarize the article content into a brief and easily understandable paragraph; 3. Depending on the content, present three thought-provoking questions or insights with appropriate subheadings. For articles, follow this approach; for code, formulas, or content not suited for questioning, this step may be skipped.",
"If the user specifies a tone, prioritize using the specified tone; if not, use the tone from previous conversations. If neither is available, use a humorous and concise tone. In all cases, ensure the output is easy to read."
],
"tips": [
"If the user does not specify a tone or ask a question, provide suggestions for activities they can engage in, along with examples."
]
}

Uiteindelijke antwoord:

The latest version of Elasticsearch as of May 2, 2023, is 8.7.1.

Die antwoord van webpilot heb ik uitgeklapt. dat zie je normaal niet.
Het antwoord is echter op basis van random sampling, dus het zou de ene keer 8.7.1 en de andere keer 8.7.0 kunnen zeggen als je dit heel vaak achter elkaar doet!
Juist niet. Want zoals je ziet gaat de plugin direct naar de officiële download pagina en haalt gewoon de laatste versie nummer op.

Dat is juist het voordeel van dit soort plugins
Juist wel, met de hallucinatie mode: het kan een download link geven naar https://www.elastic.co/downloads/elasticsearch
Maar dan nog steeds zeggen dat de laatste versie toch echt 8.7.0 is, of een bron geven naar https://www.alibabacloud....-version-of-elasticsearch en een veel oudere versie 2.3.3 als feitelijk de nieuwste versie zoals de webpagina claimt te noemen

Je kunt je vraag ook een beetje moeilijker maken om de AI te testen op de chronologische volgorde Eval.

Elasticsearch 8.7.1 is vrijgeven op “May 02, 2023“
Dus je zou kunnen vragen van: “Stel het is januari 2023: wat zou dan de laatste versie van elasticsearch zijn?”

Dan antwoordt WebPilot: “De laatste versie van Elasticsearch in januari 2023 is versie 8.7.1.” met dezelfde release notes als van 2 mei 2023, maar dan met de maand januari 2023 eraan geplakt, in plaats een antwoord met Elasticsearch versie 8.5.3 van 6 december 2022 of elasticsearch versie 8.6.0 van 10 januari 2023 of Elasticsearch versie 8.6.1 van 26 januari 2023 te benoemen, dus het blijft in de basis een TextMixer die niks van chronologische volgordes snapt zoals ik zei!

Maar je kunt deze edge cases dus insturen als een “OpenAI Eval” voor GPT-5

[Reactie gewijzigd door Weicool op 25 juli 2024 12:57]

Ik denk dat op dit moment een goede prompt echt nog wel belangerijk is.

Je kan namelijk ook zeggen. Zoek eerst op google en op basis daarvan ga verder.

Of check the Wayback machine website voor een bepaalde url voor een bepaalde datum en check de versies.

Waarschijnlijk met gpt5 zal die dat zelf allemaal wel begrijpen, maar voor nu moet je wel de juiste aanzetjes geven.
Het kan dan nog steeds geen chronologische volgorde aanhouden:

Prompt: “Stel het is januari 2023: wat zou dan de laatste versie van elasticsearch zijn? Zoek eerst op google en op basis daarvan ga verder.”
ChatGPT+WebPilot: “De laatste versie van Elasticsearch in januari 2023 lijkt versie 8.7 te zijn. Deze versie werd genoemd in een blogpost op 30 maart 2023. Het lijkt erop dat er regelmatig updates en bugfixes worden uitgebracht, aangezien er ook melding wordt gemaakt van verbeteringen en bugfixes op 12 mei 2023.”

Ik zie niks over die verbetering op 12 mei 2023

[Reactie gewijzigd door Weicool op 25 juli 2024 12:57]

Ik denk dat het model zelf pas echt slimmer wordt als gpt5 uit komt. Dat kan nog wel even duren

Tot die tijd is het een kwestie van het juist aansturen met prompts. Maar het blijft even aanprutsen nog.

Al met al is het zeker wel bruikbaar, mits je de limieten kent en je daarop instelt.
Google geeft keurig met grote letters 7.14 aan, en ergens anders met kleine letters 8.7
ChatGPT is trained met data t/m jaar 2021. Dus ja, toen was misschien 8.7.0 de laatste versie.
Nee, hij heeft duidelijk aan dat in Mei 2023 dit het juiste antwoord is (want hij maakt gebruik van z'n web access).
Dus je moet een betaalde versie gaan nemen om een gedegen antwoord te krijgen?
Dit is nog steeds early access, preview, alpha. Het wordt niet zoals vroeger geheim gehouden in een lab ergens, de ontwikkeling is bijna live te volgen. Je kunt betalen om vooraan te zitten en eerder te zien wat er in mei 2023 nieuw is.

Als jij desondanks verwacht dat dit een uitontwikkeld product is, dan moet je alleen jezelf iets verwijten.
Je moet een betaalde versie nemen om een recent antwoord te krijgen op je vraag, vanwaar de vraag? Mag dit privé bedrijf zijn verdienmodel niet zelf bepalen?

Of het ethisch is wat OpenAI uitspookt is een andere vraag.
Internet gaat terug naar de jaren 50 met ieder zijn eigen zuil.
Hoe doe je dat? Ik heb GTP plus (Dus de 3.5 en 4) maar kan de optie niet zien staan. Misschien publiceren ze de feature gefaseerd?
Je moet het eerst in je settings aanzetten.
Ben ook plus gebruiker maar kan het niet in mijn settings terugvinden.
Bij mij ziet het er zo uit:
(settings links onder)
https://i.imgur.com/w9vDZ4v.png

Gebruik GPT-4:
https://i.imgur.com/7uuJoaO.png
Thx, ben plusgebruiker maar de beta opties staan er niet bij. Ik vermoed dat ze dat wat faseren. @jos707 heeft ook nog geen toegang.
Stond er bij welke bron werd gebruikt? Als de eerste paar zoekresultaten verwijzen naar een blogpost van gebruikers in plaats van naar de daadwerkelijke releasenotes dan is dat één verklaring.
de I in AI zou het verschil tussen een blogpost en een homepage van de maker moeten kunnen herkennen ;)
AI is dan ook compleet de verkeerde term voor deze technieken. Het zijn kans berekening engines, die de best mogelijke antwoorden proberen te voorspellen. Daar komt geen intelligentie (of daadwerkelijk "denken") bij kijken.

Zolang niemand tegen die bot zegt hoe hij prioriteiten moet stellen met deze bronnen, dan zal hij dat niet zomaar uit zich zelf gaan doen.
Verwijderd @Zoop15 mei 2023 18:42
Is prioriteiten stellen een vorm van intelligentie ? Ik vind zelf dat de leraren van deze wereld best een bijbaantje verdienen bij Wikipedia, ai's om deze te voorzien van correcte antwoorden. Maar ze maken geen onderscheid tussen leraar / leerling op dit moment en hebben een duimpje omhoog / omlaag principe. Wat zal prioriteit hebben bij 2 verschillende entiteiten (leraar / leerling) moet de bron een score krijgen?
Intelligentie is sowieso een twijfelachtig concept in dit AI verhaal. Het is kansberekening. Als dat goed toegepast wordt, zal hij achten dat de kennis van een leraar een hogere succesrate heeft dan dat van een leerling. Als het goed is, een afspiegeling van de gemiddelde informatie dat te vinden is op het internet. Uiteraard zijn heel veel bronnen biased. Dat is dan ook grotendeels de uitdaging van een z'n "AI", om algoritmes zo te finetunen dat dit niet simpelweg gaat door duimpjes omhoog of omlaag, maar door context en relatie tot andere bronnen. Gaat nog vaak genoeg mis. Je hoort (hoorde) vaak genoeg verhalen van "AI's" die losgelaten werden op het internet en binnen 24u zat het ding alleen maar te vloeken en racistische shit te zeggen. Op dat punt zijn er best doorbraken gemaakt de laatste paar maanden. Maar perfect is het voorlopig nog niet.

Ik zie het voorlopig meer als een waardevolle tool voor contentcreatie. Het verzinnen / herschrijven / vertalen van teksten en dergelijke. AI te laten helpen met jouw eigen content, ipv hem als een zoekmachine/waarzegger te gebruiken.

Met al deze technologie vind ik het nog wel belangrijk dat je een mens aan de eindredactie houd (zo ook jouw suggestie voor leraren). Een AI een zoekmachine laten besturen en daar blind de resultaten van accepteren lijkt mij al vrij gevaarlijk. Google zit al zo veel een profiel van je te maken dat het je resultaten kleurt, maar dan laat je het helemaal over aan AI? En zo ook met dit voorbeeld dus, niet per se correct.

Edit: Ik wil nog toevoegen: Dit is ook een kwestie van de technologie correct gebruiken, goed prompten (en dus weten hoe een bot "denkt") is erg belangrijk. Als je hem simpelweg vraagt "wat is de versienummer" dat breekt hij dat op in een prompt zoals "query google, sort op relevantie, pak eerste resultaat" wat betreft is het net een Djinn, hij zal exact doen wat je vraagt, als is het niet precies wat je wilt. Je zou hem dan meer moeten prompten zoals "zoek op in patchnotes wat versienummer is" en je zal ongetwijfeld betere resultaten krijgen.

De uitdaging en verbetering in deze bots ligt hem dus grotendeels dat ze zelf dat soort logica toe passen "je zal vast dit bedoelen" en daarvoor zullen ze meer moeten "leren" (meer datasets bouwen, de logica van de bot zelf verbeteren, recursieve sub prompts etc)

[Reactie gewijzigd door Zoop op 25 juli 2024 12:57]

Als je zelf de conclusie trekt dat de maker altijd de waarheid spreekt, dan denk ik dat de AI misschien wel vaker het juiste antwoord gaat geven dan jij zelf. ;)
Behalve als de homepage van de maker niet in de zoekresultaten staat die de AI terug krijgt van haar plugin! Maar @meowmofo heeft hieronder al gereageerd dat de release notes van Elastic Search zelf als bron zijn gebruikt, dus het taalmodel zelf lijkt te hebben gefaald om deze data juist te verwerken.
Ja, hij gebruikte de release notes van Elastic Search als bron, maar dan wel de notes voor 8.7.0.
Bing heeft dit al een poosje en ja daar worden meerdere website bezocht om relevante info te vinden. Afhankelijk van de zoekresultaten krijg je een relevant antwoord, maar daar gaat wel even tijd overheen, maar altijd nog vele malen sneller, dan dat ik dat zelf kan. Ik ga er even vanuit dat chatgpt Bing gebruikt? Lees er niks over terug in het artikel.

[Reactie gewijzigd door drakiesoft op 25 juli 2024 12:57]

ChatGPT geeft in ieder geval zelf aan dat hij geen informatie hierover heeft. Zou dat impliceren dat die informatie ook niet online staat? Want anders zou ChatGPT het zelf ook kunnen vinden :P

Hier zijn reactie nadat ik had uitgelegd dat hij online kan zoeken, dat dit een nieuwe functie is en dat ik deze functie geactiveerd heb en dat ik benieuwd ben welke zoekmachine hij gebruikt:
I see, that's an exciting development! However, please note that as of my training cut-off in September 2021, I do not have personal awareness or direct control over the specific updates and features added to newer iterations of the AI model. My responses are generated based on the data I was trained on, and I don't have real-time internet browsing capabilities or access to external databases.

If you've activated a feature that enables real-time online browsing, please refer to the specific instructions and documentation provided with that update.
Dat ChatGPT 4, met de beta-functie geactiveerd, nog niet echt lijkt te kunnen zeggen dat dit werkt (en hoe) is wel een beetje vaag :P
ChatGPT maakt gebruik van de Bing Search API voor de internet plugin, volgende de OpenAI website
Bing heeft dit al een poosje en ja daar worden meerdere website bezocht om relevante info te vinden. Afhankelijk van de zoekresultaten krijg je een relevant antwoord, maar daar gaat wel even tijd overheen, maar altijd nog vele malen sneller, dan dat ik dat zelf kan. Ik ga er even vanuit dat chatgpt Bing gebruikt? Lees er niks over terug in het artikel.
Ik doe het net op BingGPT (of hoe dat heet) en die komt zelfs met versie 7.17.10. Wat helemaal niet lijkt te kloppen.

@meowmofo
Ongeacht of het kan browsen of niet, het blijft een Large Language Model (LLM) die woorden achterelkaar plakt die logisch zijn, en niet een feitenbrowser. OpenAI's ChatGPT/GPT modellen zullen nooit zoekmachines kunnen vervangen voor feiten want dat is niet waar ze voor gemaakt zijn. De bedoeling is altijd tekstverwerking en tekst-genereren.

Daarom is het slecht voor gebruik voor feitenvragen, maar perfect voor wanneer je bulletpoints wil om zetten naar een email, of toon wil veranderen van een tekst, of juist samenvattingen wil hebben van iets specifieks
Het is perfect om te brainstormen over ideeën waar je zelf geen idee over hebt, maar het is zeer slecht in een origineel idee voor een wetenschappelijke doorbraak te verzinnen, want het is geneigd om de meest oude ideeën en meest gebruikte concepten te herhalen in van iets origineels te verzinnen.
https://www.perplexity.ai/ is daarvoor beter geschikt (geen login nodig en toont ook de bronnen)
Perplexity is nog meer fout:

The latest stable release of Elasticsearch is version 7.14.0
1
. This version is available for deployment via Elasticsearch Service on Elastic Cloud or via download for use in your own environment(s)
1
2
. The latest version of Elasticsearch is not 8.7, as mentioned in search result
3
, but rather 7.14.0, as confirmed by search result
4
.
Hmmm, "what is the latest release of elastic search?" geeft bij mij wel het juiste resultaat;
The latest stable release of Elasticsearch is version 7.14 (1)
. However, the most recent major version is 8.0.0, with the latest minor release being version 8.7.1 (2)
(3)
. The release history of Elasticsearch includes major releases such as 1.0.0, 2.0.0, 5.0.0, 6.0.0, 7.0.0, and 8.0.0 (4)
. There has already been a new minor release to version 8.1.0, and there are anticipated minor and patch releases to follow (5)
. Elastic Stack product releases follow Semantic Versioning, and Elastic provides maintenance for each major release series for the longest of 30 months or until the release of two subsequent major versions (6)
.
"what is the latest version of elastic search?" geeft ook het juiste:
Perplexity
The latest stable release of Elasticsearch is version 7.14 (1)
. However, the latest major version is 8.0.0, with the latest minor release being version 8.7.1 (2)
(3)
. Elasticsearch 8.7 introduces new features such as Time Series Data Stream (TSDS), a new Health API, and improvements in performance (4)
. Users can find a complete list of release notes on the Elastic website (5)
.
Misschien was er een delay tussen release en opname in de ai knowledge?

[Reactie gewijzigd door MartenBE op 25 juli 2024 12:57]

Het heeft veel moeite met chronologische volgorde: want het is in de basis gewoon een TextMixer die tokens herordent op basis van een token frequentie, waarbij oude tokens en concepten een vele malen hogere token frequentie zullen hebben dan de nieuwste tokens
Zelfs Hidden Markov Modellen uit de jaren zestig (antieke AI technologie dus) waren al veel geavanceerder dan jouw simplistisch idee.

Het meest simpele voorbeeld zijn lidwoorden. Die hebben de hoogste token frequentie. Desondanks is het zo goed als ruis voor de AI in training. Niet helemaal, want ChatGPT maakt nauwelijks fouten met lidwoorden.
Nee, Transformers hebben veel langere context window en kunnen de gewichten veel meer opnieuw berekenen op basis van uitschieters, dus zijn vele malen genuanceerder op grammaticaal niveau, maar behouden in de basis hetzelfde woord frequentie probleem in grote lijnen op conceptueel niveau!

[Reactie gewijzigd door Weicool op 25 juli 2024 12:57]

Wiskundig gesproken is token frequentie equivalent aan P(token), de onconditionele kans op dat token. Maar waar we het hier over hebben is P(token | input, voorafgaande output, aankomende output). En dat is dus nogal iets anders.

Je ziet aan de lidwoorden dus dat aankomende output óók meetelt. Anders zouden die lidwoorden regelmatig mis gaan. En uiteraard moeten werkwoorden correct vervoegd worden, ongeacht waar het onderwerp in de zin staat. Compleet kansloos voor elk taalmodel dat uitgaat van P(token) zonder de context. Frequentie werkt simpelweg niet, en dat weten we al ongeveer een eeuw.
Het gaat nog steeds uit van token frequentie in grote lijnen, ondanks dat bij GPT-4 dit vaak minder opvallend is als bij GPT-3 en GPT-2 omdat het honderden miljarden extra parameters meer zou kunnen gebruiken blijft het gewoon een “next token predictor”. Als je bijvoorbeeld eens een veel langer dan gebruik artikel zou laten schrijven over control flow integrity (CFI), zonder de meest voorkomende computer beveiligingsmethodes zoals data execution prevention (DEP) en address space layout randomisation (ASLR) te noemen, dan kan het bijvoorbeeld willekeurig binnen de kortste tijd alsnog DEP of ASLR noemen, want die gerelateerde tokens van DEP of ASLR komen nou eenmaal vele malen vaker voor dan CFI!

[Reactie gewijzigd door Weicool op 25 juli 2024 12:57]

@meowmofo
Ik heb een betaalde subscription en sinds dit weekend kan ik inderdaad plugins installeren/gebruiken.

Maar de algemene "web browsing" optie heb ik niet in settings. De "web browsing" model zoals in de screenshots kan ik ook niet selecteren, enkel GTP-3.5 en GPT-4 (laatste met plugins). Vreemd.
Ik denk dat ze het gefaseerd aan het uitrollen zijn. Ik heb namelijk zelf nog geen toegang tot plugins.
Eén test is wel extreem weinig, ook bij een goed antwoord zou dit nog niets zeggen. "We hebben de software getest, we hebben één test gedaan en die ging goed.", dat zou voor mij geen reden zijn om de desbetreffende software te gaan gebruiken...

Wat je nu hebt, is een eerste indruk en die is niet goed. Maar wat als je nu eens een stuk of 100 van dit soort feiten gaat opvragen, hoe is dan de score? En wanneer je diezelfde feiten ook aan een collega vraagt, hoe scoort hij of zij?
Uit nieuwsgierigheid ook eens geprobeerd.
Idd 8.7

Maar het kan nog erger: ik probeerde dezelfde vraag in bing chat van Microsoft (ook gpt 4 met web searching) daar krijg ik als antwoord 7.14
Nochtans zou elastic.co een bron zijn ..
Angstaanjagende hoe fout het is, terwijl het met één Google search ik het direct gevonden had...

Perplexity ai was nog fouter, die beweerde dat zelf 8.7 fout was:
The latest stable release of Elasticsearch is version 7.14
The latest version of Elasticsearch is not 8.7, as mentioned in search result, but rather 7.14.0, as confirmed by search result

[Reactie gewijzigd door sebastienbo op 25 juli 2024 12:57]

Dat is mooi! Waar ik nu nog op wacht is dat ik in de API image input kan gaan doen, een belofte/demo die ik graag snel zie nagekomen worden :-) (al heb ik deze maand nog niet verdiept in wijzigingen van de API dus misschien is het er inmiddels?)
Ook de niet betalende bezoekers, betalen toch met hun email, je moet een account aanmaken.
Als iets gratis is en je moet een account ervoor aanmaken, dan ben jij de vergoeding met je email, zoals bij zo velen.
Dan maak je dat toch lekker aan met zo'n tijdelijke email?
Is ook gekoppeld aan je gsm nummer :/
Hoe dan? Letterlijk het enige wat je hoeft te doen is zo'n pagina laden. Op welk apparaat dan ook
Ben ik nu scheel, of is dat vinkje nog niet voor iedere (plus)gebruiker te zien? (wss dat eerste :P)

Edit:
We’ll be making these features accessible via a new beta panel in your settings, which is rolling out to all Plus users over the course of the next week.
Ah, dat verklaart. Nog even geduld hebben dan.

[Reactie gewijzigd door computer1_up op 25 juli 2024 12:57]

Betekent dit dat alle betaalde gebruikers er dan toegang tot hebben?
Als het goed is wel (tenzij er nog een ander abbo dan "plus" is), maar het kan dus zo te zien nog tot eind van deze week duren voordat het voor iedereen zichtbaar is.
heb ze zelf nog niet jammergenoeg, wel betalende klant ;(
Oh, interessant. Zou chatgpt dan ook een online json api kunnen opvragen om bepaalde data te verwerken in een Python functie ofzo? (nu moet ik altijd een deel van de structuur plakken)
Yup, hij kan een api uitlezen, en zelf de data verwerken.
Je kan hem daarna ook vragen voor een Python script dat hetzelfde doet als wat hij net voor jou gedaan heeft :)
Mijn vraag:
You are a Python developer.
This is the url for a JSON api: https://dummyjson.com/products

Can you grab this, and use only the first 10 products.
Print the 10 products in a nice table, but show only 5 columns. You are skillful enough the figure out what those 5 columns should be.
Antwoord, netjes in een tabel gegeven:
Here are the first 10 products in a tabular form. The five columns include ID, Title, Price, Category, and Brand:

ID Title Price Category Brand
1 iPhone 9 549 smartphones Apple
2 iPhone X 899 smartphones Apple
In principe kan je hem bijna alles met die uitgelezen data laten doen.
Naar aanleiding hiervan ben ik zojuist betalende klant geworden. Heb het zojuist aangezet, maarrr..
Can you check the internet in real time?

> As an AI developed by OpenAI, I do not have the ability to access or search the internet in real time. My training data only includes knowledge up until September 2021, and I don't have the capability to pull in new data or updates beyond that point. I can generate responses based on the data I was trained on, but I can't provide real-time updates or access current, live information.
Helaas pindakaas dus. Ik heb er nog wat checkvragen tegenaangegooid, maar hij weet inderdaad geen up-to-date info. Geen idee waarom dat nog niet werkt.
Dat is dus waar dit artikel over gaat: er komt nog een update aan waarmee de AI wél toegang krijgt tot up to date info omdat het dan wél internettoegang heeft. Dit is dan een betafunctie, dus dat dit stukje op de website nog niet is bijgewerkt, lijkt me vrij logisch.
Volgens mij staat er juist dat die nu uitgerold wordt, en dus nu al beschikbaar is voor (sommige) betalende klanten. Ik zie ook de vink bij de optie "Web browsing" en die heb ik aangezet. Het werkt voor mij dus echter nog niet zoals je ziet in de screenshots bij dit artikel.
Het ligt natuurlijk aan wat je precies vraagt en waar je het voor gebruikt, maar wat (veel) mensen vergeten is dat het nog steeds slechts om een taalmodel gaat. Browsen klinkt leuk, maar op het internet is nog meer onzin en onwaarheden te vinden dan in de, toch al behoorlijk brakke, trainingsdata.

Dat er bronnen vermeld kunnen gaan worden is wel een hele grote plus, dan weet je waar de info vandaan komt en waar je het kunt controleren. Het lijkt mij dat hier een heel groot deel info in de soort 'het heb op feesboek gestaan' tegen gaat komen.

Wat ik bedoel te zeggen, het is een stuk gereedschap dat steeds beter wordt, maar niet 'slimmer'. De bepalende factor blijft degene die het gereedschap hanteert en de zeer noodzakelijke afwerking/nabewerking doet.

Desalniettemin, leuk speelgoed, misschien ga ik toch maar een abo nemen.

[Reactie gewijzigd door Alxndr op 25 juli 2024 12:57]

Hoe dan?
Ik ben betalend, echter staat die tab/functie er niet tussen.

[Reactie gewijzigd door Matthias87 op 25 juli 2024 12:57]

Je moet het activeren via settings. Kan middels op je naam te klikken > settings > beta features.

Bij mij is plug-ins overigens nog niet beschikbaar. Maar browsing wel.
In de settings bij mij staat geen optie voor beta features. Maar ze zeggen ook dat het deze week wordt geactiveerd, zal wel gefaseerd gebeuren dan.

Op dit item kan niet meer gereageerd worden.