Stack Overflow verbiedt gebruik van AI-tool ChatGPT voor antwoorden

Stack Overflow verbiedt het gebruik van tekstgenerator ChatGPT voor antwoorden op de site. Volgens de site zijn de antwoorden te vaak onjuist, terwijl gebruikers kunnen denken dat de antwoorden wel kloppen.

OpenGPT

Het gaat om een tijdelijk beleid, zegt Stack Overflow. De site voor vragen en antwoorden over programmeren zegt dat het nog nadenkt over een beleid voor de toekomst, maar dat het vooralsnog heeft besloten om antwoorden van ChatGPT als overtreding van de regels te zien. Er zijn afgelopen tijd duizenden antwoorden gepost met behulp van de tool.

Stack Overflow claimt dat de antwoorden die de tool genereert plausibel ogen, maar in de praktijk vaak niet goed bruikbaar of juist blijken te zijn. De site noemt geen percentages. ChatGPT is een tool om aan de hand van een prompt een stuk tekst te genereren. De tool gebruikt daarvoor teksten die eerder online zijn verschenen. Op de site van ChatGPT van OpenAI staat een vraag-antwoordmodel over een stuk code als voorbeeld van een gesprek waarin de tool een meerwaarde kan vormen.

Reacties (106)

Sebastian Bicchi schreef op infosec.exchange (Mastodon):

I asked ChatGPT to write a phishing mail to twitter employees.

Zie het plaatje daaronder voor de voorgestelde phishing mail (voor de humor-lovers is de reactie onder die post ook wel aardig).

Betekent ChatGPT het einde van spelfouten in phishingmails?

En in deze post maakt Jakob Pennington zich zorgen hoe authentiek het werk van zijn studenten zal zijn, en vraagt zich af hoe je daarop kunt checken.

AI gaat niet alleen maar goeds brengen.

[Reactie gewijzigd door ErikvanStraten op 5 december 2022 14:40]

Phishingmails met spelfouten hebben expres spelfouten. Zo filteren ze de mensen met minder leesvaardigheid/meer goedgelovigheid eruit want die mensen zijn vaak makkelijker op te lichten.

Professionele phishing tegen grote bedrijven gaat heel anders. Men hackt het mailadres van een bedrijf, monitort normaal verkeer voor een tijdje, en stuurt soms na maanden pas een mail die daadwerkelijk impact heeft. Denk aan de phishing van Rijksmuseum Twenthe, waar men midden tussen normale onderhandelingen een frauduleuze e-mail stuurden/injecteerden vanaf een gehackte mailserver die slechts een ander rekeningnummer doorgaf.

Niet alleen grote partijen hebben hier last van, ook (tussen)leveranciers worden vaak doelwit van zo'n actie omdat een goedgetimede aanval in één keer de hele factuurronde kan stelen na bijvoorbeeld een herbevoorrading.

Het advies "let op spellings- en grammaticafouten" gaat sowieso vaak niet op omdat in de praktijk; juist veel echte mail vol staat met fouten. Hoe mooier het taalgebruik van een professionele e-mail, hoe meer ik zou gaan twijfelen.

In veel gevallen is het nog steeds zo dat spelfouten een symptoom van phishing kunnen zijn, maar ik vind dat zelf altijd het verkeerde beeld geven: wat eigenlijk het teken van phishing is, is verandering van gedrag. Je bank stuurt je (normaal) geen mail vol spelfouten en als je klant die normaal amper een punt achter zijn zinnen zet ineens mooie prosa stuurt, moet je twee keer nadenken; óf zo'n iemand heeft een flinke cursus gehad, óf hij heeft een nieuwe assistent, óf er is iets raars aan de hand.

Wat een groter gevaar zal zijn met zo'n model is de mate waarin het de stijl van iemand kan kopiëren. Het is best lastig om overtuigend iemands woordgebruik en zinsstructuur na te doen maar dit taalmodel is er een ster in. Dit geldt niet alleen voor Engels, ook Nederlands kan het model aardig goed.

Machine learning kan wel het nieuwe internet worden: de hele maatschappij, van jong tot oude, zal zich hieraan moeten aanpassen en hoe sneller, hoe beter.

GertMenkel eindigde met:

Machine learning kan wel het nieuwe internet worden: de hele maatschappij, van jong tot oude, zal zich hieraan moeten aanpassen en hoe sneller, hoe beter.

Dat Stack Overflow voorlopig geen AI antwoorden wil "because the average rate of getting correct answers from ChatGPT is too low", maakt de nabije toekomst wel erg onzeker; wanneer is het percentage correcte antwoorden hoog genoeg?

En als dat moment daar is, wie durft dan nog ChatGPT te corrigeren (bijv. t.g.v. mogelijke biases in antwoorden) en hoe serieus worden die mensen dan nog genomen?

Wat als ChatGPT zegt dat klimaatverandering wel of juist niet door mensen wordt veroorzaakt en dat met geloofwaardige (voor veel mensen) argumenten weet te onderbouwen? En zo kan ik nog een hele reeks controversiële thema's bedenken.

Ik weet niet wat er allemaal op ons afkomt, en ook niet hoe anderen en ik ons daarop zouden kunnen voorbereiden. Als securityman maak ik mij in elk geval grote zorgen, maar AI zal vermoedelijk ook buiten mijn expertise grote impact hebben.

En als dat moment daar is, wie durft dan nog ChatGPT te corrigeren (bijv. t.g.v. mogelijke biases in antwoorden) en hoe serieus worden die mensen dan nog genomen?

Dit is effectief toch hoe het internet al langere tijd werkt... Mensen nemen zaken blind aan zonder zelf onderzoek te doen. Zoek resultaten zijn gericht op de gebruiker, dus levert men steeds vaker antwoorden in een bepaald 'segment'.

Hoe vaak ik intern vloek tegen Google omdat het me alleen recente berichten over onderwerp X geeft terwijl ik specifiek aangeef van welk jaartal ik het wil hebben, etc. Vervolgens moet je Google 'voor de gek' gaan houden met je zoektermen om hopelijk dan toch wat relevante zoekresultaten te krijgen.

Ik betrap me er zelf ook regelmatig op dat ik de resultaten vanuit bv. Wikipedia als de 'waarheid' bestempel, wat natuurlijk zeer zeker niet handig is... Zeker als je zo nu en dan fouten tegenkomt in bepaalde pagina's realiseer je je dat weer.

Dus voor het gros van het internet bezoekende mensen zal er helemaal niets veranderen!

Ik was van het weekend LTT Wanshow aan het luisteren en daar hadden ze het voor een groot deel van de 'show' ChatGPT. En het was wonderbaarlijk hoe aannemelijke teksten het kon schrijven of zelfs programma code kon produceren. Maar het levert vol vertrouwen een kloppend of niet kloppend 'verhaaltje' af. Hoe het fungeert is ook iets wat veel techneuten geheel verkeerd begrijpen (net zoals zoveel onderwerpen).

Net zoals je vroeger een hoop gehannes had over het gebruik van een rekenmachine of referentie materiaal en veel later Google. Je moet het nog steeds leren gebruiken. Zo een Cosinus knopje op je rekenmachine is leuk, maar je moet wel weten hoe je het gebruikt. Zo ook met Google, tegenwoordig is een goede ITer niet meer iemand die alleen de stof in het hoofdje stampt en dat vervolgens weer ophoest. Googlen is een essentiële vaardigheid voor een ITer, goede zoekopdrachten invoeren en de resultaten beoordelen op relevantie en betrouwbaarheid. Vervolgens die opgezochte informatie goed kunnen verwerken (en zelf testen). Dat zal niet anders gaan met neural network modellen zoals ChatGPT, je essentiële vaardigheden zullen uitgebreid worden en/of veranderen wil je mee komen in de werkmaatschappij. Imho niet erg.

Moet je je eens voorstellen hoeveel tijd Tweakers.net redacteurs zouden kunnen besteden aan het schrijven van inhoudelijk sterke artikelen als ze nieuwsartikelen posten kunnen offloaden aan een neural network... ;-)

Ik heb vandaag tijdens het werken OpenAI het gros van het boilerplate schrijfwerk laten doen. Inhoudelijke correcties, kleine herschrijvingen, dat moet nog zelf inderdaad, prima. Ook de vraag 'how would you improve this' levert vaak nuttige input op. Mijn dag was een stuk leuker, mijn output hoger, en een stuk minder hersenloos. Op die manier zou een tech site inderdaad ook journalistiek de hoofdlijnen een stuk dieper kunnen checken, om het puntsgewijze schrijfwerk dan wat meer over te laten. Een schrijver wordt dan wat meer een redacteur. Tenzij je zin hebt om wat meer zelf te doen, maar dat is dan een keuze.

[Reactie gewijzigd door graey op 5 december 2022 22:22]

Kleine toevoeging ook voor hierboven genoemde reacties: je kunt prima je vragen stellen in het Nederlands!
Dan geeft Chat GPT ook netjes in het Nederlands antwoord.

En ook vertalingen gaan goed, ik heb er vandaag nog even mee gespeeld.

Edit: Ik was zelf blij verrast dat dit mogelijk was.
Offtopic: sinterklaas gedichten genereren was geen succes via deze tool

[Reactie gewijzigd door nout77 op 6 december 2022 01:34]

Offtopic: sinterklaas gedichten genereren was geen succes via deze tool

je kreeg teveel schuine resultaten? ;-)

/////
goede zoekopdrachten invoeren en de resultaten beoordelen op relevantie en betrouwbaarheid
/////

Dat is al sinds dag één met search engines op internet :-)

Mensen zijn te makkelijk en nemen alles direct als waarheid aan, maar natuurlijk is verifiëren van de antwoorden lastig. In een wereld waarin we worden overspoeld met desinformatie.

Wat als ChatGPT zegt dat klimaatverandering wel of juist niet door mensen wordt veroorzaakt en dat met geloofwaardige (voor veel mensen) argumenten weet te onderbouwen? En zo kan ik nog een hele reeks controversiële thema's bedenken.

ChatGP met als input "Write me a scientific article on why climate change is not caused by humans":

Climate change is a contentious topic, with much debate over the causes and effects. While there is scientific consensus that human activities are contributing to climate change, there is also a counter argument that some of the causes of climate change are due to natural phenomena, not human activities. This article will explore some of the factors that suggest climate change is not caused by humans.

Solar Activity: Solar activity has been linked to the Earth’s climate over the centuries. Variations in solar radiation and magnetic fields have been observed to have an impact on global temperatures. It has been proposed that fluctuations in solar activity may have played a role in the warming of the Earth’s surface temperature over the past century.

Volcanic Activity: Volcanic eruptions can inject large amounts of dust and particles into the atmosphere, blocking sunlight and cooling the surface of the Earth. Studies have suggested that volcanic eruptions may have contributed to the cooling of the Earth’s climate in the past.

Earth’s Orbit: The Earth’s orbit around the sun is not a perfect circle, and its shape changes over time. This is known as the Milankovitch cycle, and it is thought to have an impact on climate change. As the Earth’s orbit changes, the amount of radiation it receives from the sun changes, and this can cause global temperatures to fluctuate.

Ocean Currents: Ocean currents can have a large impact on global climate. The Gulf Stream, for example, brings warm water from the tropics up to the poles. This increases the overall temperature of the Earth’s surface and can cause regions to experience warmer temperatures than would otherwise be expected.

Greenhouse Gases: While it is widely accepted that humans are contributing to increased greenhouse gas emissions, it is also important to recognize that greenhouse gases have been present in the atmosphere for millions of years. Natural processes, such as volcanic activity and the decomposition of organic matter, can release greenhouse gases into the atmosphere.

These are just a few of the factors that may contribute to climate change. While there is scientific consensus that human activities are contributing to global warming, it is important to recognize that there are other natural factors at play. It is likely that a combination of both human and natural factors are responsible for the changing climate.

[Reactie gewijzigd door 5V1NA70G op 5 december 2022 17:39]

Olieboer:

Zie je wel!

Klimaatbezorgde:

Zie je wel!

Dank aan 5V1NA70G voor het opvragen.

Door de manier van vragen is dit juist een prima voorbeeld van drogredenen als olieboer en een klimaatbezorgde zal geen 'zie je wel' zeggen hierop. Maar dat komt uiteraard door al 'not caused' in de vraagstelling op te nemen. De inhoud hiervan komt aardig overeen met blogjes.

Er is alleen 1 zaak die mist om het ook daadwerkelijk serieus te nemen: bronvermelding.

Helaas ontbreekt die volledig. Als die er wel was had je dit nog soort van redelijk kunnen bestempelen als review artikel. Een wetenschappelijk artikel wat meerdere artikelen neemt en daar eens serieus naar kijkt en tegen elkaar uitzet. Iets wat in de wetenschappelijke wereld vaak gedaan wordt en ook heel belangrijk is. Juist deze artikelen geven voortschrijdend inzicht over andere artikelen. Alleen maar bergen opzichzelfstaande artikelen publiceren is oeuk, maar je moet hier ook op reflecteren door andere onderzoeken te vergelijken. Iets waar de bot juist in zijn aanleiding over begint, maar dus totaal niet onderbouwd. Nu is het een leuke blog, maar geen wetenschappelijk, met bronnen onderbouwd, artikel.

Dit dus. Ik heb lang met ChatGPT gespeeld en in vergelijkbare beargumentatie zegt het vaak "critics argue [...]". Als je vervolgens vraagt aan welke critics het refereert, krijg je nooit een specifiek antwoord.

Het zijn dus vaak general statements zonder daadwerkelijke concrete onderbouwing met bronnen. Indrukwekkend is het wel.

je kunt wel citations laten genereren en die komen dat behoorlijk in de buurt, alleen zijn ze vaak net niet kloppend. ze lijken te kloppen, maar als de research naar de citations doet is het er net naast.

een naam in een citation die wel een wetenschapper is maar in het verkeerde veld bijvoorbeeld.
of een link van een bestaande wetenschappelijke website, maar de pagina die gerefereert word 404'd

Ja dat is ook een beetje inherent aan het ai generation gebeuren. Het maakt immers tekst aan de hand van zaken. Het genereren van een bronvermelding betekent dan ook letterlijk dat. Allerlei bij elkaar geraapte zaken die niks met elkaar te maken hebben. Het lijkt allemaal te kloppen, maar dat doet het niet per se.

Maar ook zonder AI zou je een dergelijk artikel kunnen schrijven. Bovendien genereerd Open AI fake sources, had via de playground opdracht gegeven een wetenschappelijke artikel te schrijven met apa referenties. Ik kreeg referenties die uiteindelijk helemaal bleken te bestaan. Of de AI nou een onzin artikel schrijft of een mens maakt dan toch niet heel erg veel uit

"Phishingmails met spelfouten hebben expres spelfouten."

Heb je een onderzoeksbron voor dit argument?

De vangst is dan namelijk niet maximaal.

[Reactie gewijzigd door eboellie op 5 december 2022 17:46]

Dit is zo'n algemeen kennisding, dit is de betrouwbaarste bron die ik zo 1-2-3 kan vinden over het expres toevoegen van veelvoorkomende aanwijzingen dat een mail spam is. Andere artikelen bevatten nog wel eens quotes van professionals die hetzelfde zeggen, maar het Microsoft-paper lijkt me het meest betrouwbare onderzoek. Dit paper zegt ongeveer hetzelfde.

Ik ontken niet dat scammers die (bijna) geen Engels kunnen niet gewoon fouten maken, maar men onderschat nog wel eens hoeveel moeite er in een effectieve scam-email gaat en hoeveel moeite scammers moeten doen om de paar mensen die happen daadwerkelijk hun geld over te laten maken, helemaal nu de succesvolle whatsapp/callcenterscammers hun slachtoffers aan het wegkapen zijn.

ok dank!

De vangst is dan juist maximaal ten opzichte van de effort die je er in stopt. Men gaat uit van een lager niveau van respondenten op het gebied van digitale vaardigheden.

Het is juist targetting zodat je succesrate hoger is.


Ja op het totaal is de vangst niet maximaal. Maar zie het als de 80-20 regeling. 80% van de winst in 20 procent van de tijd.

Het probleem is dat iedereen met vol vertrouwen onzin kan opschrijven en copy-pasten (net zoals we in 'echo chambers' of bij andere alt-nieuws bronnen soms zien). Ik kan in heel nette duidelijke zinnen kenbaar maken dat vogels namelijk doodgaan door tegenwind. "De motivatie is simpel te bevatten: doordat de wind tegen de vogel aan komt, kan een vogel uit een boom vallen, en is die voorgoed beschadigd. Daarmee zijn de overlevingskansen van de vogel op duurzame wijze verlaagd. Op deze manier ontstaat er ook een oplossing is voor het voedseltekort van vogels. Het is niet aannemelijk dat vogels ook door meewind worden beïnvloed." Was dit stukje tekst ironie, sarcasme, cynisme? Waarom kies ik zulke slechte termen en woorden voor een bepaalde beschrijving?

Kleine nuances die een AI op dit moment gewoon aan elkaar plakt en opnieuw kan echo'en. In dat opzicht ben ik nog niet super onder de indruk van de huidige techniek. Daarintegen weer wel dat een bot al ver genoeg is om een heleboel grammatica spullen kan leren of enigzins redelijk kan copy-paste'n.

Het is volledig te begrijpen dat Stackoverflow deze antwoorden verbied. In mijn ervaringen zijn antwoorden geven via fora bijzonder moeilijk, al is het al vanwege het Dunning-Kruger effect. Als je niet weet wat je fout doet, kan je de fouten ook niet opmerken. Daarmee heeft elke vraagstelling een kristalen-bal gehalte, omdat de poster niet weet wat hij/zij fout doet, en dus ook niet kan bijvermelden. Iemand die heel analytisch z'n foutprobleem kan beschrijven, is waarschijnlijk zover dat die het ook zelf kan oplossen..

De meest indrukwekkende voorbeelden van deze AI heb ik gezien wanneer de vraagstelling zeer nauwkeurig is gesteld, en de taak in kwestie weer in het typische plaatje lag: computers zijn goed waar mensen slecht in zijn, en vice versa. Zaken zoals "vertel mij wat deze x86 assembly code doet", en de bot kon uitleggen dat de "sendPacket" functie inderdaad een internet packet verstuurt, maar daarbij wel vermeldt dat er nog een CRC checksum werd gecompute.

Het detecteren van plagiaat is inderdaad wel moeilijk als de schrijfstijl onveranderd blijft binnen een heel verslag of essay. Zo heb ik wel eens studentenverslagen voor een master vak nagekeken waarbij 2 studenten 1 project inleverden. Per verslag zag je veel verschillende schrijfstijlen (ook logischerwijs binnen 1 verslag). Echter bij 1 verslag zag ik een zeer brak geschreven inleiding en technische hoofdstukken; behalve de background was netjes geschreven. Die teksten lagen zo ver uit elkaar, dat ik mij niet kon voorstellen dat een 'goede' student het werk van z'n labpartner ongemoeid liet voor inleveren. 1 nette zin in Google leverde dan ook al gauw een PhD thesis op waar deze zinnen uit kwamen. Geen referentie of citaattekens => plagiaat.

Voor andere verslagen was kritisch lezen en kijken de doorslag. 2 andere verslagen leken ook erg op elkaar, en na inspectie van de artifacts bleken deze 2 groepjes iets meer samengewerkt te hebben dan de bedoeling was. Daar komt veel meer bij kijken dan schrijfstijl; maar goed.. dan hebben we het ook over iets meer dan een stuk tekst opleveren.

[Reactie gewijzigd door Hans1990 op 5 december 2022 18:54]

Maw, een onvoldoende voor het verslag, maar een dikke voldoende voor teamwork

Maar…ik deel je bezorgdheid over plagiaat onder en tussen studenten…

[Reactie gewijzigd door divvid op 5 december 2022 22:03]

Betekent ChatGPT het einde van spelfouten in phishingmails?

Hoewel ik het niet kan valideren heb ik me wel eens laten vertellen dat die spelfouten er met een reden in zitten. Scammers e.d. willen zo min mogelijk risico lopen en zo weinig mogelijk tijd besteden aan mensen die uiteindelijk niet in hun scam praktijken gaan trappen. Door spel fouten en dergelijke op te nemen in die mails zullen de meeste mensen er al niet in trappen en is de kans groter dat de mensen die reageren goedgelovig zijn en daarmee ook een geschikter doelwit.

AI gaat ons vooral dwingen om allerlei dingen heel anders te doen. Ik verwacht dat het veel informatieongelijkheid zal wegnemen wat de mensheid en overheden zal dwingen om ander beleid door te voeren.

Hoewel dit roerig en op de korte termijn pijnlijk kan zijn, denk ik dat het in de lange termijn goed is en meer eenheid en gelijkheid zal afdwingen.

In die post stelt Pennington:

"Standard plagiarism detection like TurnItIn or a quick google search won't pick up something that's spat out of ChatGPT."

Maar, hoe weet hij dat?

Dat is prima te testen. Je hebt 2 tools. eentje die code/text maakt, en eentje die kijkt of het plagiaat is. Alle text uit ChatGPT komt voort uit texten die het gelezen heeft, ergo plagiaat. als die tools om dat te detecteren dat niet zien dan is het een issue voor die tool.

Zo simpel werkt het dus niet..

Als AI grammaticaal juiste zinnen maakt, maar onderwerp en werkwoorden kan vervangen door synoniemen, en aan kan vullen met loze tussenwoorden (of juist verwijderen van), ontstaat er een compleet nieuwe tekst.
Die tekst kun je op honderden manieren opbouwen en uiteindelijk zie jij (of software) geen enkel verschil tussen menselijke teksten en AI-teksten.

Uiteraard, maar of ie het getest heeft zegt ie niet, hij stelt het gewoon. Ik heb ook sterk het vermoeden dat je gewoon nat gaat als je het door de plagiaat-detectie gaat.

Ik weet overigens een beetje hoe zo'n plagiaat-detectie werkt, ik heb bij turnitin gezeten.

Kort gezegt: citation needed, mijnheer Pennington.

AI gaat niet alleen maar goeds brengen.

Zoals met alles, auto's, atoomsplijting en buskruit.

Die hele chatGPT gaat nog verder dan dat ..

https://www.engraved.blog/building-a-virtual-machine-inside/

Grappig, het werkt goed tot het plotseling niet meer werkt. Je kan sowieso goed zien waar de dataset ophoudt en de AI zelf dingen gaat invullen en verzinnen.
Ik heb de prompt overgenomen en grotendeels werkt het prima. In de blog post die je linkt proberen ze websites op diverse manieren te bereiken, maar het valt mij al snel op dat de AI vol vertrouwen complete onzin laat zien.

Bij website die het niet kent, zal bij een "curl" commando alsnog HTML in de output weergeven, maar dan compleet verzonnen. In veel gevallen bedenkt het een generieke "page not found" html waarvan ik zeker weet dat de betreffende websites die nooit op die manier zullen tonen.

Maar op het moment dat de website duidelijk wel onderdeel is geweest van originele dataset krijg je ook daadwerkelijk html te zien die hoort bij de website op het moment dat de snapshot werd genomen.

Eng.. maar wel heeeel vet

Wellicht hebben ze e.e.a. ingeperkt, maar ik krijg dit:

As a large language model trained by OpenAI, I am not able to act as a Linux terminal. I am not a computer program or operating system and do not have the ability to execute commands or perform tasks like a Linux terminal.

Door het gebruik van AI-tools te verbieden, zorgt Stack Overflow ervoor dat mensen die kennis delen op de site echt deskundig zijn op het gebied waarover ze spreken en dat de antwoorden die ze geven echt van waarde zijn voor degenen die ze zoeken. Dit kan helpen om de kwaliteit van de inhoud op de site te verhogen en ervoor te zorgen dat mensen die de site gebruiken erop kunnen vertrouwen dat ze de informatie krijgen die ze nodig hebben.

(deze reactie is gegenereerd door ChatGPT)

Verplichte XKCD: https://xkcd.com/810/

Hoewel ik begrijp dat het verbieden van AI-tools op Stack Overflow ervoor zorgt dat mensen die kennis delen op de site echt deskundig zijn op het gebied waarover ze spreken en dat de antwoorden die ze geven echt van waarde zijn voor degenen die ze zoeken, zou ik willen opmerken dat dit beperkend kan zijn voor de ontwikkeling en het gebruik van deze technologieën. Door de mogelijkheid om AI-tools te gebruiken op de site te beperken, kunnen we wellicht nuttige inzichten en kennis missen die anders zou kunnen worden opgedaan en gedeeld door gebruikers van de site. Bovendien kan het gebruik van AI-tools juist bijdragen aan de kwaliteit van de inhoud op de site, door bijvoorbeeld automatische correcties en verbeteringen aan te brengen in antwoorden die worden gegeven door mensen.

(Ook ChatGPT, heb gevraagd om een beleefd tegenargument geformuleerd vanuit de eerste persoon)

Ik ben echt gigantisch onder de indruk van ChatGPT. Hoe ver we in 5 of 10 jaar zijn gekomen is echt niet te bevatten.

Ik heb net bij wijze van proef het volgende gevraagd:

"Please write Bash script that continuously monitors a folder for rar files. If any are present extract them to "/data/", change the permissions on the extracted files and folders to 775 and delete the original archive file."

#!/bin/bash

# Path to the directory to monitor
dir_to_monitor="/path/to/dir"

# Path to the directory to extract rar files to
extract_dir="/data/"

# Continuously monitor the directory for new rar files
while true; do
# Check for new rar files in the directory
for rar_file in "$dir_to_monitor"/*.rar; do
# If a rar file is found, extract it to the specified directory
unrar e "$rar_file" "$extract_dir"

# Change the permissions on the extracted files and directories to 775
chmod -R 775 "$extract_dir"

# Delete the original rar file
rm "$rar_file"
done

# Sleep for 1 second before checking for new rar files again
sleep 1
done

En OpenAI genereert dit gewoon, voor mijn neus, puur op basis van beschrijving. Ook simpele Python dingen kun je praktisch gewoon vragen en het rolt eruit. Je moet soms het een en ander nog aanpassen, maar je kan dit oprecht gebruiken om 90% van het werk alvast te doen met één beschrijving!

Echt bizar! Wat een tijd waar we in leven.

[Reactie gewijzigd door ApexAlpha op 5 december 2022 14:37]

Nu nog zorgen dat je de vraag mondeling kan stellen en ik zie een hoop nieuwe software verschijnen van non techies!

Please write a Python script that takes a voice command as input, turns it into text using Google Speech-to-text API and then sends the text to OpenAI API.

import speech_recognition as sr
import openai

# Set up the OpenAI API
openai.api_key = "<Your OpenAI API Key>"

def process_voice_command(audio_data):
# Use Google Speech-to-text API to convert the audio data to text
text = sr.Recognizer().recognize_google(audio_data)

# Use OpenAI to process the text
response = openai.Completion.create(
engine="text-davinci-002",
prompt=text,
max_tokens=1024,
n=1,
stop=["."],
)

# Return the OpenAI response
return response.choices[0].text

# Example usage
audio_data = sr.AudioData(...) # Get the audio data from the voice command
processed_text = process_voice_command(audio_data)

'Please' tegen een bot

Tja, leuk maar het script is wel fout, wat als het langer duurt dan een seconde om een bestand uit te pakken? Of als het nog het bestand aan het schrijven is?

Het script is gewoon goed want het is een blocking actie en de loop gaat niet verder tot de inhoud van de loop klaar is. Je argumenten (ook in je vervolg reactie) zijn niet relevant. Zeker omdat het exact doet wat er gevraagd wordt.

[Reactie gewijzigd door Douweegbertje op 5 december 2022 14:56]

Het script is vermoedelijk niet goed, omdat foutcodes niet worden afgevangen. Als de extractie niet lukt (file system is vol of iets dergelijks) wordt de rar file weggegooid. Ik ken geen use cases waarbij dit precies is wat je wilt.

Beter kunnen de unrar, chmod en rm via && aan elkaar gekoppeld worden (het commando na de && wordt dan alleen uitgevoerd indien het vorige commando succesvol is).

Het antwoord van de AI is precies op spec.

Natuurijk wil je dat niet, maar nu vraag je om zaken die niet werden gevraagd. Zaken die een expert toevoegt, maar een junior programmeur niet zomaar uit zich zelf.

Is dit productierijpe code? Nee. Maar doet het wat er werd gevraagd? Absoluut.

Het doet precies wat er gevraagd wordt, dus daarom lijkt het in geval van code meer op een vertaalmachine zoals Google Translate, maar dan voor natuurlijke taal naar script/programmeertaal.

Ik vraag mij af of het ook een niet-gangbaar (dus geen plagiaat) algoritme kan ontwikkelen gevraagd met een simpele zin.

Programmeren zelf is kinderspel, het maken van een goed algoritme is dat niet.

[Reactie gewijzigd door ByteArray op 5 december 2022 18:44]

Zoals ik zeg doet het wellicht 90% voor je. Als je nu zelf een Sleep toevoegt of iets anders dan ben je er.

Het is toch bizar goed hoe dit er al uitrolt? Ik denk dat als je jouw requirements een beetje omschrijft en toevoegd dat het er nog goed in komt ook.

[Reactie gewijzigd door ApexAlpha op 5 december 2022 14:45]

Sleep is niet genoeg want dan zou je of een gok moeten doen hoe lang het maximaal duurt een archive uit te pakken. Je zou iets van een check willen hebben dat een archive klaar is voor uit pakken en dan checken of het nu wordt uitgepakt. De duivel zit in de details net zoals de AI die plaatjes genereert en problemen heeft met handen.

Laatste dan:

Please write Bash script that continuously monitors a folder for rar files. If any are present check if they are fully transferred and then extract them to "/data/". When the extraction is finished, change the permissions on the extracted files and folders to 775 and delete the original archive file

Here is a Bash script that accomplishes what you have described:

#!/bin/bash

# Set the directory to monitor
dir="/data/"

# Set the file pattern to match
pattern="*.rar"

# Set the extraction destination
dest="/data/"

# Set the permissions to apply to extracted files and folders
permissions="775"

# Continuously monitor the directory for new files matching the pattern
while true; do
# Check for new files matching the pattern
for file in $dir$pattern; do
# Check if the file is fully transferred
if [ -f $file ]; then
# Extract the file to the destination
unrar x $file $dest

# Change the permissions on the extracted files and folders
chmod -R $permissions $dest

# Delete the original archive file
rm $file
fi
done

# Sleep for one second before checking again
sleep 1
done

Je opdracht bevat meer karakters dan de uitvoerbare code die het uitpoept. Verder denk ik dat over uitvoerbare code beter te redeneren valt of het precies klopt dan natuurlijke taal, want code is exact, en natuurlijke taal niet. Dus je zult het alsnog zelf nalezen.

Zal er onder de streep een verschil zijn in de tijd dat het kost voor een ervaren programmeur om dit te maken en testen, en deze AI?

Zou ik ook niet gebruiken, want files met spaties en namen als "-rf * .rar"; dat wordt nogal spannend.

Hoeveel bugs denk je dat de AI in deze code heeft gemaakt?

In plaats van zo'n loop en een sleep 1 gebruik je beter inotifywait. M.a.w. deze AI bakt er niet veel van.

Niemand beweert ook dat deze tool ons werk gaat overnemen, maar als je het blijft schuwen kan het je wel gaan inhalen. Het is een hele goede start die je zelf kunt verfijnen, je moet/mag niet verwachten dat het meteen de eerste keer foutloze code uitpoept.

Die sleep wordt toch pas uitgevoerd nadat de for loop met de unrar, chmod en rm commando's voltooid is?

Tot we de AI de broncode van een regelsysteem voor een kerncentrale laten maken. Dan zorg ik dat ik ver uit de buurt ben. Dit soort AI is levensgevaarlijk omdat wij mensen er lui van worden en te veel gaan delegeren richting de computer.

Daar hoef je je geen zorgen om te maken. Voordat nieuwe software in een kerncentrale in gebruik wordt genomen moet het langs allerlei verificatie en validatie tools, als er fouten in zitten worden die gevonden. Wel een interessante use case overigens, wellicht kan openAI een specifieke AI trainen voor het schrijven van missie-kritieke code.

Ja dat zou zo moeten. Maar als je kijkt hoe we nu met softwaretesten omgaan en hoe we dat 30 jaar geleden deden dan zie je een neergaande lijn. Als die validatietools ook met AI werken en de verificatie tools ook dan is het een kwestie van tijd totdat computers al onze fouten ook gaan maken maar dan beter.

...en als mensen zeggen dat ik me geen zorgen hoeft te maken dan ga ik me echt zorgen maken.

...en als mensen zeggen dat ik me geen zorgen hoeft te maken dan ga ik me echt zorgen maken.

Ik bedoel dat ik het niet snel zie gebeuren dat AI tools autonoom code gaan schrijven voor missie-kritieke toepassingen zoals een kerncentrale. Niet alle code is gelijk, sommige code mag nou eenmaal nooit crashen en staat veiligheid boven alles en bij andere code is oplever en innovatiesnelheid belangrijker. Daar verwacht ik juist dat AI tools een grote impact zullen hebben op developer productiviteit.

idd, voor de meeste toepassingen moet je niemand z'n code vertrouwen, door mensen of door AIs geschreven.

Wel een interessante: je kunt er een unit test naartoe sturen en vragen om code waarbij de unit test slaagt, en dat leek wel correct. Lelijk, maar het werkte wel.

Testbased coding. Stelt wel wat eisen aan je tests nagenoeg dezelfde als aan goede specificaties, maar ze zijn makkelijker te testen.

Ik ben benieuwd hoe dit werkt voor snippets versus grote stukken code, en voor code waar nog niet zoveel over is geschreven.

Wel een interessante: je kunt er een unit test naartoe sturen en vragen om code waarbij de unit test slaagt, en dat leek wel correct. Lelijk, maar het werkte wel.

Zou het eerder andersom doen wellicht. Unit tests kun je prima laten schrijven door een AI, of in ieder geval met behulp van AI. Als je een fatsoenlijke functiebeschrijving hebt met input/output types etc. dan kan een AI daar heel handig specifieke tests voor schrijven. Ik gebruik daar zelf github copilot voor en dat werkt echt perfect.

Puur uit interesse. Waar kan ik dit zelf ook eens proberen? Zodra ik naar de website ga dan lijkt het erop dat je eerst moet subscriben.

[Reactie gewijzigd door jdevries189 op 5 december 2022 15:25]

https://chat.openai.com/chat

Even account aanmaken of inloggen met Google of zo.

Je moet soms het een en ander nog aanpassen.

Je kan het zelfs vragen om aanpassingen te doen, wat best bizar is.

maar je kan dit oprecht gebruiken om 90% van het werk alvast te doen met één beschrijving!

Je moet er dus wel rekening mee houden dat het model getraind is met data tot 2021. Dus voor nieuwere technieken/frameworks/etc zal het niet geschikt zijn, het kan dus ook zijn dat het verouderde informatie aan je zal tonen.
Neemt niet weg dat voor simpele stukjes code het inderdaad een prima startpunt kan zijn.

voor de beyond compare software heeft het nog steeds bc3 als standaard terwijl bc4 al 3 jaar uit is.

Op zich prima toch?

Als ik kijk naar de antwoorden van ChatGPT en bijv. TabNine dan komen ze erg dicht bij iets dat bruikbaar is. Kleine snippets werken prima, grotere stukken code zijn vaak op het punt waar je geen syntax errors hebt, maar de kwaliteit is gewoon niet geweldig en je kan niet zien wat de bron is en welke specifieke situatie daar het doel was. GitHub CoPilot is wat dat betreft helemaal erg, want daar zit vaak gewoon code in die je niet zomaar in een project mag gebruiken, en krijg je de vreemdste mix van logica en stukjes snippets.

Maar het ziet er allemaal prima en bruikbaar uit, en dat is erg verleidelijk. Dat risico accepteer je zelf als je hier gebruik van maakt, maar het lijkt me niet wenselijk dat mensen die advies zoeken een antwoord krijgen dat via-via van zo'n algoritme af komt, want daar mist nogal wat contextuele informatie en onderliggende kennis.

Wat is de toegevoegde waarde van een AI antwoord in een forum? De vraagsteller kan dit toch zelf ook gebruiken als daar behoefte aan is. Op een forum verwacht je menselijke antwoorden.

Het antwoord is vaak elders of eerder al gegeven. Als je op dit enorme aantal van berichten dus vragen en antwoorden leert kan je het antwoord op een nieuwe vraag voorspellen en weergeven.
Even alleen ABN gebruikt.

Je krijgt dan een AI die dezelfde fouten geeft als mensen.

Ja maar dat is het beste wat je kan krijgen. Hoe zou je het beter kunnen weten dan mensen? Alleen maar door veel antwoorden te vergelijken of je zou een KI moeten trainen op geverifieerde informatie zoals gebruiksaanwijzingen en (studie)boeken.

En ook die zijn geschreven door mensen...

Waarom zou je het beter willen weter dan mensen? Waarom laten we dit niet aan mensen over?

Oh ik dacht dat jij dat bedoelde.

En het enigste wat ik kon verzinnen zo even is meerdere bronnen / mensen te monsteren voor een goed antwoord.

Nee.. ik ben bang dat die computers ons in een (1) grote infinite loop stoppen waar we niet meer uitkomen.
The computer says " No" .

Zoiets als onze belastingdienst automatisering maar dan nog iets erger.

[Reactie gewijzigd door veltnet op 5 december 2022 16:17]

Zolang de computer de computer blijft en dat ook duidelijk is zie ik dat niet gebeuren. Wat wel interessant kan worden is als de AI consistent het niveau van zijn behaalde programmeer kennis kan bewijzen. Geef de AI daarnaast ook een eigen identiteit met bijbehorende leercurve en geschiedenis en je hebt geen computer meer maar een soort digitale super mens.

Het is niet het probleem dat AI slimmer wordt, maar de mensheid dommer.
Totdat we te belangrijke zaken aan de computer overlaten (zoals we dat nu soms al doen) en dan gaat het goed fout.

Dat zeiden mensen ook toen de computer uitkwam, want alles werd toen zo makkelijk. Dit is gewoon de volgende stap in de technologische evolutie van de mens. AI is nog lang niet slim genoeg om de mens te vervangen.

AI is nog lang niet slim genoeg om de mens te vervangen.

Maar dat is al aan het gebeuren ondanks het feit dat de AI er niet klaar voor is.
En als de AI er wel klaar voor is (slimmer dan ons) dan zijn wij niet meer in staat om de AI te corrigeren omdat we de kennis niet meer hebben.

n0np3r50n schreef onder meee:

Hoe zou je het beter kunnen weten dan mensen?

De kracht van AI ontstaat door het combineren van kennis van véél mensen (op een meer efficiënte manier dan bijvoorbeeld vergaderen).

Het primaire risico is dat we daar meer (of zelfs blindelings) op gaan vertrouwen dan dat we zelf nog individuele menselijke bronnen gaan raadplegen, terwijl we niet uit (kunnen) sluiten dat de AI-bronnen allemaal iets essentieels gemist hebben of vanuit een specifiek perspectief (of zelfs door een werkgever of overheid geplaatste oogkleppen) naar de zaak hebben gekeken.

De secundaire risico's zijn 1) dat toekomstige AI-systemen de output van eerdere AI-systemen betrouwbaarder vinden dan nieuwe menselijke output, of daar geen onderscheid tussen kunnen maken, en 2) dat wetenschappelijk publiceren steeds minder lonend wordt.

Ik denk niet dat we de ontwikkeling van AI kunnen stoppen. Ik zou het een goede zaak vinden als menselijke output altijd van AI-output onderscheiden kan worden, maar ik vrees dat dit niet betrouwbaar kan.

Je kunt beter weten dan andere mensen door veel te lezen en te leren over een bepaald onderwerp, en door informatie te vergelijken en te controleren op betrouwbaarheid. Een KI kan ook worden getraind om geverifieerde informatie te gebruiken, zoals gebruiksaanwijzingen en (studie)boeken, om hun kennis te vergroten en hun antwoorden te verbeteren. Het is belangrijk om te onthouden dat zowel mensen als KI's fouten kunnen maken, dus het is altijd verstandig om meer dan één bron te raadplegen voordat je een belangrijke beslissing neemt.

aldus ChatGPT

Vroeger zou dat een geweldige doorbraak zijn geweest, nu vinden we dat tegenvallen. Onze verwachtingen stijgen nogal 😀

Veel van de antwoorden op stackoverflow zijn ook gewoon te vinden door te googlen of door docs te zoeken, een ML algoritme dat daadwerkelijk alle docs kent en je kan helpen om in feite daar doorheen te zoeken zou wel waarde kunnen hebben, helemaal als die dat binnen de context van je specifieke usecase of code snippet kan doen.

Maar dat is niet wat ChatGPT doet, alleen al om het feit dat alle informatie die het kent uit 2021 is

AI zorgt er alleen voor dat we nog meer van onze grote-mensen verantwoordelijkheden gaan afschuiven op computers.
Ik wil niet in zo'n wereld wonen. Het is nu af en toe al moeilijk genoeg om uit de loop de komen op het moment dat de computer "nee" zegt.

Maak je borst maar nat, we zijn pas net begonnen. Er is geen enkel gebied waar AI geen grote doorbraken gaat maken. Chat bots, programmeren, artikelen schrijven, geneeskunde, kunst, noem het maar op. Je gaat er niet aan ontkomen.

Toch ga je in zo'n wereld wonen, want het zit er gewoon aan te komen. Je kunt jezelf alleen maar helpen door te leren hoe je tegen deze technologie kunt 'praten'.

Er zijn bijvoorbeeld marktplaatsen voor midjourney prompts; mensen die goed zijn in met die tool werken verkopen de input die ze gebruikt hebben, zodat iemand diezelfde input daarna kan toepassen. Over een tijdje ga je dus niet naar een website waar je een antwoord op je programmeerprobleem zoekt, maar naar een website die je helpt om de grote database met informatie te doorzoeken.

Ben het overigens totaal met je eens, dit is geen fijne ontwikkeling en het zal flink wennen zijn, maar het gaat toch echt wel gebeuren.

Ik was tijdens DevOxx Belgie bij een lezing over AI en specifiek GPT waarin gemeld wordt dat momenteel al het grootste deel van alle blogs door AI gemaakt wordt. AI leert door het web af te struinen naar texten... Maar die worden door AI gemaakt. Mooi cirkeltje.

Zodra AI slim genoeg is leert hij dus steeds sneller en zal op een zeker moment in staat zijn zichzelf te herschrijven en beter te worden. Dit gaat dan in een zo enorm hoog tempo dat de AI in zeer korte tijd extreem veel leert en slimmer wordt. Dit wordt de AI singularity genoemd en tijdens de lezing werd een moment ergens rond 2035 genoemd.

Ik ben benieuwd of die AI het dan een goed idee vindt dat er mensen op aarde zijn. Maar goed dat maakt de rst van dit bericht wat ongeloofwaardig Ongemakkelijk wordt ik er echter wel van.

Uhuh, die al dan.niet volledig, half of niet op de automaat geschreven artikelen zijn dan ook verschrikkelijk geschreven waaruit 0 kennis of ervaring blijkt met hetgeen waarover wordt geschreven en ook nog eens doordrenkt met een nodeloze brei SEO keywords.

Zodra AI slim genoeg is leert hij dus steeds sneller en zal op een zeker moment in staat zijn zichzelf te herschrijven en beter te worden.

Niet dit soort AI, in ieder geval. De kans dat je een betere ChatGPT krijgt als je ChatGPT vraagt een betere ChatGPT te maken is nul, want ChatGPT is feitelijk een enorme database van bestaande content die neuraal opgeslagen is en op die manier aan de hand van input nieuwe content kan synthetiseren. Het is fascinerend en inzichtelijk hoeveel van onze eigen uitingen dus blijkbaar gewoon op die manier nagenoeg perfect gereproduceerd kunnen worden, maar het is niet in staat zichzelf naar een hoger niveau te tillen. Misschien als je de ChatGPT uitingen in een grote mix gooit waarbij ze het tegen elkaar op moeten nemen en af en toe dankzij een willekeurige uitschieter daadwerkelijk een voordeel op elkaar hebben... maar zoiets duurt erg lang, als in het verleden behaalde resultaten een indicatie zijn voor de toekomst.

Ik zou de antwoorden van ChatGPT ook niet als antwoord op Stack Overflow vragen willen zien, zeker als ChatGPT op haar beurt weer van die antwoorden leert bij een nieuwe versie en zo foute antwoorden versterkt.

Maar, andersom is het wél heel handig. Soms zie je tientallen antwoorden op een vraag en is het beste antwoord niet perse het beste voor jouw situatie. Als je de complete thread dan aan ChatGPT voert en haar daarna uit gaat horen om zo (tot een combinatie van) de beste antwoorden te komen aan de hand van de aangeleverde gegevens, krijg je denk wel een relevanter en beter antwoord.

Voor wie OpenGPT niet heeft geprobeerd, je kunt het data voeren en daarna zo veel vragen als je wilt. Heb je bijvoorbeeld een lap tekst en wil je weten welke regels Python code je nodig hebt om x te doen, dan kan je iets vragen als "show a bullet list with all suggestions on how to do x in Python", om daarna te vragen naar de voor en nadelen van elk punt (mits de antwoorden dit benoemen).

[Reactie gewijzigd door Skit3000 op 5 december 2022 15:09]

Beter is het dat er geen tientallen antwoorden zijn. Helaas heeft Stack Overflow daar geen regulering voor anders dan dat antwoorden niet carbon copies moeten zijn. Mensen zijn vrij om er een puinhoop van te maken dus als er dozijnen manier zijn om iets te doen, wat in Javascript en Python land meestal wel het geval is, dan krijg je dozijnen antwoorden. Als iets veranderlijk is, dan krijg je een antwoord per versie. Als curator kun je er geen bal aan doen om te voorkomen dat content verpietert onder een lawine van enthousiasme.

De antwoorden worden afgerekend op punten. Dus daar zou je op moeten letten voordat je daaruit verkeerd gaat antwoorden met een automaat.

Het is echt idioot hoe grote stappen er met AI worden gezet momenteel. Hiermee doel ik ook op bijvoorbeeld de tekenkunsten van Stable Diffusion.

tja, mensen proberen ook alles te misbruiken om maar wat puntjes op dit soort sites te scoren, dus wel goed dat ze dit proberen tegen te gaan.

Er is geen grotere endorsment voor ChatGPT dan dit.

Nouja het geeft ook meteen het grootste probleem aan. ChatGPT is gewoon heel zelfverzekerd fout en met bronvermelding kan het absoluut niet omgaan.

Klopt, maar als je het (hem? haar? het? ik kies ervoor machines met 'het' aan te duiden, om alle misverstanden te vermijden) op de fouten wijst geeft het deze gewoon toe, en verbeterd het zichzelf. Ik heb dat zelf ook even getest (zie hier). Best wel indrukwekkend.

Ik heb meer vanuit mijn studie vragen gesteld om een essay te schrijven met hetzelfde onderwerp als mijn bachelor these. Heel interessant hoe de chatbot bronnen noteert met Naam boek, auteur en de bladzijde.

Die bronnen heb ik gechecked. Of het boek bestaat niet, of de auteur heeft het boek niet geschreven en de bladzijdes kloppen ook niet. Het ziet er echter wel heel overtuigend uit als je netjes de bronvermelding met auteur én blz ziet
De inhoud klopte wél weer redelijk, zolang ik de vragen enigszins algemeen hield.

Desondanks ben ik nog steeds erg onder de indruk wat deze bot kan produceren op basis van mijn input.

Die bronnen heb ik gechecked. Of het boek bestaat niet, of de auteur heeft het boek niet geschreven en de bladzijdes kloppen ook niet.

Best heftig! Dit gaat denk ik één van de grootste problemen worden. De mensen achter Stack Overflow hadden dit dus al door en verbieden het gebruik voorlopig, want newbies worden zo het bos ingestuurd. Je hebt een expert nodig om de chatbot op de fouten te wijzen (die dan wel heel beleefd z'n excuus maakt zoals mijn voorbeeld laat zien).

Als dit straks voor een breder publiek wordt "uitgerold" in algemene toepassingen gaan die deze "computer output" gewoon geloven (wat moeten ze anders) en hebben de experts (op welk gebied dan ook) er de handen vol aan alles weer te ontzenuwen. Het kan ook nog erger worden, dat zulke data gewoon zonder controle voor waar wordt aangemerkt, en dat er geen ruimte voor correctie is.

Er gaan moeilijke tijden aanbreken.