Wikipedia werkt samen met het Internet Archive om bronnen in stand te houden

Leden van het Internet Archive werken samen met de Wikimedia Foundation om dode links op Wikipedia door te verwijzen naar kopieën op de Wayback Machine. Met geautomatiseerde software zijn al meer dan een miljoen links op de Engelse Wikipedia doorverwezen.

De software scant elke link op Wikipedia of die nog naar een bestaande pagina leidt. Als de software op een 404-code stuit, verandert die de link naar een kopie op de Wayback Machine van het Internet Archive. Bij de links op Wikipedia wordt vermeld dat het om een pagina van het Internet Archive gaat.

De ontwikkelaars laten als voorbeeld de Engelse pagina over het Paaseiland zien. Bron 85 verwijst naar een pagina die niet meer bestaat op de originele server. De link is daarom aangepast om te verwijzen naar een kopie van de pagina op de Wayback Machine.

De techniek is nu alleen nog toegepast op de Engelse Wikipedia. Het team kondigt aan dat het van plan is om het ook werkend te krijgen bij alle andere talen. Verder onderzoekt het team of het mogelijk is om de bronlinks 'zelfhelend' te maken.

Reacties (37)

[Babrak]

Ben ik de enige die dit niet erg wenselijk vindt? Ik kan het begrijpen, en in een zekere zin ook steunen. Maar wetenschap hoort op nieuwe bronnen te rusten. Als iets verouderd is, zou er een nieuwe bron bij moeten staan, en niet iets dat de auteur ervan verwijderd heeft.

Ik begrijp natuurlijk dat veel dingen niet door auteurs zelf verwijderd zijn (een blog dat ermee stopt, link structuur dat verandert, etc). Maar vooruitgang van wetenschap zit hem in nieuwe bronnen, en juist verouderde bronnen te vervangen door nieuwe.

[Bart ®]

Als een bron oud is wil dat niet zeggen dat de bron verouderd is. Als een website niet meer in de lucht is wil dat niet zeggen dat hetgeen erop te vinden was, niet meer correct is.

Daarbij staat duidelijk aangegeven dat het om een site gaat die niet meer online is. Als iemand een actuele en correcte bron heeft die wel online is, kan deze natuurlijk gewoon toegevoegd worden. Dat is de kracht van Wikipedia.

[Rob_03]

Ik ben het ook wel met Babrak eens. De website is immers niet offline islandheritage.org/wordpress. De pagina waarnaar verwezen werd bestond niet meer.

Wat de reden ook mag zijn voor verwijdering gebruik maken van de wayback roept wel vraagtekens op. Het zal voor deze FAQ pagina niet heel veel uitmaken.

Stel dat Tweakers een lijstje maakt met de snelste ISP's. Iemand linkt naar Tweakers als bron nu. Volgend jaar is die informatie achterhaald / wordt de pagina doorverwezen / verwijderd.

Wat ziet een bezoeker op Wikipedia. Een oude pagina van Tweakers, logo etc en informatie die lang niet meer up to date is. Nog even los van links die dan weer niet werken in die pagina er zijn ook genoeg mensen die geen idee hebben wat wayback is en 1 Tweakers en 2 is domme info gerust als waarheid gaan verkondigen.

Sterker nog wikipedia verwijst nu dus naar de bron uit 2007 en in die zelfde wayback machine blijkt dat in 2009 er door de auteur aanpassingen zijn gemaakt https://web.archive.org/w...landheritage.org/faq.html door toevoeging van:

"SELECTED REFERENCES

Beck, Warren, et al. “Mata Ki Te Rangi: Eyes Towards the Heavens” in Easter Island: Scientific Exploration into the World’s Environmental Problems in Microcosm (John Loret, et al., eds.) - Kluwer Academic/Plenum, 2003"

Wie zegt dat de tekst nog klopt?

"One of the highest-quality examples of Easter Island stone masonry is the rear wall of the ahu at Vinapu. Made without mortar by shaping hard basalt rocks of up to seven tons to match each other exactly, it has a superficial similarity to some Inca stone walls in South America.[85]"

Ik snap dat Wikipedia de artikelen met bronnen onderbouwd wil zien maar vraag dan om een nieuwe bron en ga niet verwijzen naar pagina's, personen, organisaties die slechts grip hebben op hun eigen website / informatie.

[MClaeys]

De info op wikipedia komt uit die bron, of die achterhaald is doet er niet toe. Het is namelijk aan iemand anders om dan de bron te updaten en de info op wikipedia aan te passen naar de nieuwere correctere info. De originele bron kan verouderd zijn of fout, maar het blijft wel de correcte bron van die bepaalde info op wikipedia.

Ik neem aan dat dat internet archief wel niet alle pagina's heeft, of gaan ze bij het scannen meteen ook een kopie maken van de werkende links?

[Rob_03]

Dat is dus het hele punt. Iedereen kan verwijzen naar een "bron" maar de "bron" is niet de gene die per definitie de mogelijkheid heeft om die informatie aan te passen.

En ja links, afbeeldingen etc werken dus wel in het archief. Zie Tweakers https://web.archive.org/w...w.tweakers.net/reviews/16

Stel dat ik destijds op een Wikipedia vermeld dat Tweakers gevestigd is in Amersfoort met deze pagina als bron. Heeft Tweakers er zelf niks mee te maken maar komt die verwijzing wel over als een bruikbare bron. Althans voor de wat minder oplettende gebruiker en daar zijn er genoeg van.

Ook een reden waarom ik zelf vaak bij de lancering van een upgrade website folders zo aanpas dat in het archief de foto's in elk geval niet meer werken zodat het archief die niet meer kan bereiken.

[wankel]

Ook een reden waarom ik zelf vaak bij de lancering van een upgrade website folders zo aanpas dat in het archief de foto's in elk geval niet meer werken zodat het archief die niet meer kan bereiken.

Huh? Je frustreert dus opzettelijk de basis van het Interwebs? Het netwerk van documenten dat aanelkaarhangt van hyperlinks naar andere documenten? Ooit van stable links en link rot gehoord?

[djiwie]

De hele wetenschap is gestoeld op een systeem van verwijzen naar literatuur van anderen, Wikipedia heeft dat overgenomen. Sommige informatie is nu eenmaal het beste uit eerste hand van een bepaalde bron beschikbaar, maar als om wat voor reden dan ook de oorspronkelijke website niet meer beschikbaar is dan kan het wenselijker zijn om naar een betrouwbare kopie op Archive.org te verwijzen dan naar een andere bron (die niet meer uit de eerste hand is).

Het voorbeeld wat je aanhaalt van Tweakers die een test van internetproviders doet is wel een aardige. Als op Wikipedia wordt vermeld 'KPN is de snelste[1]' en dan wordt verwezen naar dit artikel, dan klopt het dat de informatie op een gegeven moment niet meer. Maar als op Wikipedia staat 'KPN was in 2016 de snelste provider van Nederland[1]' dan is het juist wel wenselijk dat specifiek naar het artikel uit 2016 wordt verwezen.

[Rob_03]

Ik ben het mbt wetenschap geheel met je eens.

Maar stel nu dat ik dus jou publicatie als bron vermeld.

Jij weet daar niks van en komt er achter dat jou publicatie bijgewerkt moet worden naar actuele informatie op je website.

Vervolgens besluit ik "automatisch" om jou aanpassing te negeren door de informatie op mijn website te laten staan en naar een kopie van jou verouderde informatie te verwijzen. Onder de noemer iemand anders moet maar opzoek gaan naar actuele informatie.

Soort van omdat ik jou nieuwe telefoonnummer niet ken verwijs ik iedereen naar je oude telefoonnummer.

Dat is toch vreemd?

[CivLord]

Er wordt aangegeven dat de link verwijst naar een kopie op de WayBack Machine. Je weet dus dat de oorspronkelijke pagina om de één of andere reden is verwijderd.
Van informatie over ISP's weet je dat die per definitie is achterhaald wanneer er niet bij staat dat de informatie recent is bijgewerk (met datum uiteraard). Zoek je informatie om een overzicht te maken van de ontwikkelingen kan het handig zijn.

Of het erg is dat een bron wat ouder is, hangt ook van het onderwerp af. Wil je geïnformeerd worden over de nieuwste ontwikkelingen van een bepaalde techniek, dan is een kopie op de WayBack Machine niet relevant. Wanneer het een algemeen, relatief tijdloos onderwerp betreft, kan ook een al wat oudere bron interessant zijn.

[djwice]

Grappig 'nieuwe bron'.

Dan zoekt mijn bot alle archive links op wiki, volg ze, maak van de tekst een nieuwe HTML5 ARM compatible pagina, en pas de link aan.

Beter leesbaar tekst gelijk. Maar is mijn pagina betrouwbaarder dan de archive.org link? Hij is wel nieuwer en even accuraat, zelfs beter leesbaar.

[Reactie gewijzigd door djwice op 27 juli 2024 14:06]

[sellh]

Ligt er maar net aan. Hou me al vele jaren fanatiek bezig met genealogisch onderzoek (= stamboomonderzoek). In de loop der jaren zijn veel nuttige sites met bijvoorbeeld bronbewerkingen, zoals een bewerking van een doopboek van de een of andere plaats, verdwenen. Niet omdat de webmaster het niet meer interessant vond, maar doordat de webmaster overleed, het internetabonnement verviel en de provider de pagina opruimde. Waarmee dus vaak interessante bronnen, waar iemand in zijn leven zeeën van tijd in heeft gestopt, zomaar verdwenen. Nederlandse bibliotheken en archieven zoals Koninklijke Bibliotheek en Groninger Archieven, stellen dit soort bronnen gelukkig steeds vaker veilig door een webarchief aan te leggen met lokale versies van interessante websites. Hierdoor blijven dit soort bronnen behouden voor de toekomst.

[Babrak]

Ik ben dan ook niet principieel tegen. Zoals ik aangeef, ik kan het zelfs steunen. Voorbeeld dat jij aangeeft is een van dat soort dat ik zou steunen.

Maar het lijkt mij dat dit ook averechts kan werken. Omdat de links automatisch aangepast worden (wat ook nodig is gezien de omvang), is veel info verouderd.

Een paar voorbeelden: historisch onderzoek rust op actuele archeologische vooruitgang. Een artikel uit 2000 is simpelweg niet actueel meer. De auteur verwijdert huidig artikel omdat informatie daarin niet juist is en schrijft en andere dat wel juist is, gezien de huidige vooruitgang in archeologisch onderzoek. Maar, Wikipedia verwijst nu dus nog steeds naar oude bron.

Een ander voorbeeld: ik doe onderzoek in wijsbegeerte. Veel artikelen komen uit Stanford Encyclopaedia of Philosophy (en fantastisch bron geschreven door experts). Maar de auteurs veranderen de artikelen constant. Met uitgebreide en diepgaande veranderingen omdat hun eigen onderzoek hun nieuwe informatie brengt. Als Wikipedia nog steeds naar oude artikelen verwijst, is de vooruitgang die de auteurs na 10 jaar aangeeft gewoon niet direct beschikbaar. Dat is jammer. Een dat is waarom ik het toch problematisch vind, hoewel ik niet direct tegen ben.

[wankel]

Een paar voorbeelden: historisch onderzoek rust op actuele archeologische vooruitgang. Een artikel uit 2000 is simpelweg niet actueel meer. De auteur verwijdert huidig artikel omdat informatie daarin niet juist is en schrijft en andere dat wel juist is, gezien de huidige vooruitgang in archeologisch onderzoek. Maar, Wikipedia verwijst nu dus nog steeds naar oude bron.

Volgens mij wil je het gewoon niet begrijpen :-)

Zoals tig keer aangehaald in de reacties: het lemma werkt zichzelf niet bij. Juist daarom is het goed als je weet dat de bron waaruit die informatie geput is, uit 2000 komt.

Stel je voor dat er geen duidelijke datering is van het moment dat de bron geraadpleegd is:

• Je ziet in een Wikipedia-lemma een stelling die je onbekend voorkomt
• Je ziet dat de bron van twee dagen geleden is
• Je conclusie is: ah, er is iets veranderd in de wereld, ik moet mijn eigen kennis bijwerken.

Stel je hetzelfde voor, maar dan met een referentie van wanneer de bron geraadpleegd is, bijvoorbeeld doordat op dat moment (23-10-2000), een archive.org-timestamp gezet is:

• Je ziet in een Wikipedia-lemma een stelling die je onbekend voorkomt
• Je ziet dat de bron van zowat twintig jaar geleden is
• Je conclusie is: ah, dit artikel is ondertussen wat achterhaald, laat ik het bijwerken!

[Babrak]

Volgens mij wil je het gewoon niet begrijpen :-)

Volgens mij ben jij degene die mij niet wil begrijpen. Ik heb het niet over lemma's. Ik heb het over bronnen. Verouderde bronnen houden wetenschap tegen. Of je daar mee eens bent, is iets anders. Maar dat is mijn stelling, en Wikipedia samenwerking met Archive.org zorgt dus alleen maar voor dat verouderde bronnen blijven. Wikipedia-lemma hoeft uiteraard niet volledig herschreven te worden. Heb ik nergens gezegd.

[Ge Someone]

Pas al een Wikipedia artikel wordt aangepast, vanwege nieuwe informatie, hoeft de bron aangepast te worden. De artikelen updaten zichzelf niet.

[Amasik]

Deze techniek probeert het probleem op te lossen dat bronnen achter een link weg kunnen vallen wat verlies van informatie kan betekenen. Op deze manier doet deze techniek precies wat het moet doen om dit probleem op te lossen, en worden verloren links weer werkend gemaakt. Aangezien dit iets automatisch lijkt te zijn is het dus ook de bedoeling dat het veranderen van een link naar het internet archief uitgaat van de inhoud van die link op het moment van plaatsen van de link. De informatie in de wikipedia pagina is daar namelijk op gebaseerd en niet op nieuwere informatie achter die link. (Ik snap wat Rob_03 aanhaalt in zijn reactie maar dat probleem moet in de bron opgelost worden en dat is het aanpassen van de wikipedia pagina. niet het herstellen van een link door gebruik te maken van een mirror.)

Wat jij als probleem schets is dat er in artikels soms links staan die achterhaald kunnen zijn. Deze techniek is dus niet in staat om te valideren of een link nog wel up to date is qua inhoud en daarom misschien vervangen moet worden door een betere of nieuwere.

Het probleem dat je schetst valt in mijn ogen alleen op te lossen door een persoon die een wikipedia pagina gaat valideren en daarmee nieuwe links kan plaatsen op basis van nieuwe bronnen en oude kan verwijderen.

[Jeoh]

Wikipedia is niet alleen wetenschap. The History of the Decline and Fall of the Roman Empire, een boek uit de 18e eeuw, is lange tijd *het* naslagwerk geweest voor het Romeinse rijk. Al is het alleen maar door de gigantische hoeveelheid primaire bronnen.

[RoestVrijStaal]

Uitkomsten van nieuwe onderzoeken stoelen op resultaten en conclusies van oude onderzoeken.

Zoals Newton zei: "Als ik verder heb gezien dan anderen, komt dat doordat ik op de schouders van reuzen stond."

[paltenburg]

Ja je bent de enige. Er is geen reden om dit niet wenselijk te vinden. Als jij ergens een verouderde bron op wikipedia zit, is er niemand die je tegenhoudt om deze bron te updaten.

Het grote voordeel van dit systeem met de wayback-machine is dat mensen geen bronnen kunnen verwijderen op het moment dat iets ze niet aanstaat.

[Jeoh]

Hopelijk werkt dit ook voor websites die dan gewoon naar de front-page redirecten ofzo. Je weet wel, mensen die niet netjes de HTTP response codes gebruiken waar ze voor bedoeld zijn.

Volgende stap is natuurlijk om automatisch bronnen die worden toegevoegd aan Wikipedia toe te voegen aan de Wayback Machine.

[indigo79]

En dan eigenlijk ook direct de versie in de Wayback Machine linken in het artikel, omdat dat de versie is (zou moeten zijn) waarop de auteur van het artikel op Wikipedia zich gebaseerd heeft...

[MClaeys]

Daar gaan veel auteurs niet tevreden mee zijn, dan neem je namelijk traffic weg terwijl dat voor hen bedoeld was (als er reclame op staat kan dat inkomsten schelen etc...)

[MenN]

Inderdaad, het is leuk dat er gekeken wordt of er een internet archive versie van een bron is. Maar het is inderdaad erg wenselijk dat elke bron die toegevoegd wordt aan wikipedia automatisch dan ook een kopie in het internet archive krijgt.

[robvanwijk]

Volgende stap is natuurlijk om automatisch bronnen die worden toegevoegd aan Wikipedia toe te voegen aan de Wayback Machine.

Toen ik de kop van het artikel las dacht ik eigenlijk dat dat precies is wat ze nu deden... helaas, iets te vroeg gejuicht.

Nog even een interessant puntje voor die volgende stap: wat doe je met robots.txt? Je zou kunnen zeggen dat het toevoegen van een bron aan een artikel een handmatige actie is, maar de code die vervolgens die bron aan het Internet Archive toevoegt is wel degelijk een robot...

[Verwijderd]

Het is wel interessant om hier over na te denken. Ik bedoel informatie is net zo groot in omvang als het heelal, zo niet groter. Hoe ga je zoiets (efficient) opslaan en zal dat (fysiek) mogelijk zijn? Geld en kosten even los gelaten. Alle dagelijkse hoeveelheden nieuws, foto's etc etc. Je zou (atoom)bunkers kunnen bouwen, maar hoeveel ruimte heb je hier voor nodig? Bovendien wie bepaald wat bewaard wordt, censuur bijv.?

Naar mijn mening is internet best fragiel, een goede wereldoorlog dat een paar knooppunten om zeep helpt en het internet is weg en mogelijk veel informatie. Je krijgt na afloop misschien wat stukjes terug zoals we nu af en toe wat dino botten opgraven en voor de rest moeten we "opnieuw" beginnen. Je moet ook denken aan type techniek en verval van techniek. Als we de afgelopen laten we zeggen 30 jaar bekijken, niet iedereen kan meer van floppy's lezen om maar een simpel voorbeeld te noemen.

Aan de andere kant als men een nieuwe internet gaat bedenken dat duurzamer en bestand is tegen informatie verlies ben ik bang dat het een hele andere opzet gaat worden met nog meer censuur en privacy schendingen.

[Justin_]

Of.men zoekt gewoon een alternatieve bron en indien dat niet mogelijk is : minder wenselijk de wayback

[CivLord]

Een alternatieve bron zoeken kan niet geautomatiseerd gebeuren. Die moet door iemand opgezocht en beoordeeld worden.
Doorverwijzen naar de WayBack Machine kan juist wel geheel automatisch.

De vermelding van de doorverwijzing kan wel een trigger zijn voor de auteur, of een ander, om een andere bron te zoeken.

[pim]

Grappig, dit idee had ik 3 jaar geleden hier gepost. Vroeg me altijd al af waarom dat niet gebeurde.

[Verwijderd]

Heb je dit idee dan ook voorgesteld op Wikipedia? Zo niet, dan kun je natuurlijk er vanuit gaan dat er niet veel mee is gebeurd, hoe goed het idee ook was.

[Freekers]

Mijn ervaring met het geven van suggesties aan Wikipedia (en tevens het aanpassen van Wikis) is dat de gevestigde Wiki communitiy niet open staat voor verbeteringen van newbies. Dat klink heel raar en hard, maar ik heb het vaker meegemaakt dat mijn edits zonder reden werden teruggedraaid. Als je dan verhaal gaat halen krijg je een bot antwoord terug. Ik draag dus niets meer bij aan Wikipedia.

[Marty007]

Ooit een artikel aangevuld over een game. Werd zonder pardon verwijderd omdat het niet exact de juiste opmaak had.

In plaats dat iemand dan ff helpt om je bijdrage netjes te maken werd je bijdrage gewoon weg gegooid..
Ik gebruik Wikipedia wel veel maar ga er geen energie meer in steken

[aadje93]

helaas ben ik ook tot die conclusie gekomen, de gevestigde orde lijkt drukker met het nalopen van de nieuwe mensen dan het eventueel wat bijschaven van hun werk...

[RoestVrijStaal]

Je hebt geen toegang tot dit forum

Je hebt geen toegang tot de Tweakers Lounge (TL). Toegang tot de Tweakers Lounge krijg je automatisch wanneer je meer dan 100 posts hebt gemaakt op het forum in het afgelopen jaar.

Post eens een screenshotje.

[Yariva]

Geloof hem maar op zijn woord

[Verwijderd]

Ik kan bevestigen dat hij dit inderdaad heeft voorgesteld.