Twitter geeft wetenschappers toegang tot alle geplaatste berichten

Twitter heeft een programma opgezet waarmee wetenschappers toegang kunnen krijgen tot de berichten die op de sociale-netwerksite zijn geplaatst. Zo kunnen zij inzicht krijgen in globale ontwikkelingen, zoals de verspreiding van het griepvirus.

Dat maakte Twitter bekend via zijn weblog. Volgens het bedrijf achter de populaire sociale-netwerksite kunnen wetenschappers onderzoeksvoorstellen schrijven om toegang te krijgen tot een database met daarin alle op Twitter geplaatste berichten. Omdat er elke dag wereldwijd ongeveer een half miljard 'tweets' worden geplaatst kunnen wetenschappers inzicht krijgen in hoe bepaalde zaken, zoals het griepvirus of bepaalde vormen van taal, zich hebben ontwikkeld en verspreid.

Geïnteresseerde wetenschappers moeten voor 15 maart een onderzoeksvoorstel opsturen. Omdat het nog slechts om een pilot gaat wordt slechts voor een klein aantal onderzoeken toegang tot de data verleend. Overigens wordt het voor de geselecteerde wetenschappers ook mogelijk om samen te werken met de ontwikkelaars achter Twitter. Voor het verspreiden van de Twitter-data wordt samengewerkt met het bedrijf Gnip.

Twitter heeft beloofd om in de komende tijd meer informatie te geven over de projecten op zijn speciale Research-webpagina. Daarop zijn overigens ook onderzoeken te vinden die door de sociale-netwerksite zelf zijn uitgevoerd.

Reacties (55)

[World Citizen]

??

Na wat klikken kom ik dit tegen

"We can do this thanks to Gnip, one of our certified data reseller partners"

Ofwel, word het altijd al verkocht dan? Als het een reseller partner is, dan veranderd er toch niks met dit nieuws..? Het werd dan toch altijd al verkocht?

Ik lees dan "We verkopen het altijd al via onze EEN van onze reseller partners, maar nu kun je het nog steeds kopen via een van onze reseller partners"

Of zie ik dat verkeerd.

[Bl@ckbird]

Researchers hebben gratis toegang tot deze gegevens als ze een interessante toepassing weten te verzinnen. Ik weet dat er een oliebedrijf is die geabonneerd is op de "firehose service" van Twitter. Je krijgt dan alle publieke twitter berichten. Als er ergens "havoc" is in de wereld, dan wordt hierover getwitterd. Oorlog, aanslagen, enz. Op basis hiervan kunnen ze hun olieprijs bepalen. Dit is een toepassing van Big Data.

[1993jjohan]

Toch wel eng als je het zo bekijkt, Openbare berichten van twitter is nog te overzien. Maar wil er niet eens aan denken wat facebook doet met de data die ik voor alleen mijn vrienden deel! En helemaal niet de foto's.

Ik vind dat de wet hier strengere regels voor moet maken, En dat je er net zoals cookies duidelijk apart toestemming voor het doorverkopen van data moet geven. En dus niet ergens in de kleine lettertjes die niemand leest.

Dus een soort "wij gebruiken cookies en verkopen de data, druk op toestaan om door te gaan" melding.

[Reactie gewijzigd door 1993jjohan op 25 juli 2024 03:36]

[Lord_Farin]

die niemand leest

Ik vind dit altijd enigszins vreemd. Enerzijds moord en brand schreeuwen over privacy en anderzijds te beroerd zijn om wat tijd te investeren voordat je een (typisch in de VS gevestigd) bedrijf toegang geeft tot persoonlijke informatie.

Als je een huis koopt dan lees je toch ook nauwkeurig alle bepalingen van je hypotheekverstrekker? Toch?!

[init6]

Ik vind dat mensen die deze gedachten hebben opgesloten moeten worden om zichzelf te beschermen. Als je daadwerkelijk verwacht dat een commerciele partij zoals Facebook niets met jouw data doet dan leef je in een heerlijk naieve wereld.

On Topic:
Tijdens een Splunk workshop is dit mij al eens laten zien als ik mij goed herinner. Misschien dat Twitter het niet direct beschikbaar maakte, maar het was niet echt moeilijk om via slimme zoekopdrachten veel te vinden over bepaalde berichten. Vervolgens kon je dat mooi analyseren.

Twitter word al geanalyseerd door onderzoekers in Nederland. Bijvoorbeeld in deze papers:
http://ifarm.nl/erikt/papers/tabu2011.pdf

http://delivery.acm.org/1...f9f1d6fa7aecc830e5536aa0c

[Ivos]

Voor zover ik weet was het al een tijd mogelijk om toegang te kopen tot de realtime stroom aan nieuwe tweets, via wat aangeduid wordt als de firehose. dat werd volgens mijn ook via resellers verkocht. Erg prijzig en alleen betaalbaar voor bedrijven volgens mij. Blijkbaar wordt / is het mogelijk om nu ook in de geschiedenis te zoeken.

[Reactie gewijzigd door Ivos op 25 juli 2024 03:36]

[Morress]

niet druk maken joh, ze zijn toch certified.... lol

[TMC]

Dat zie je verkeerd. Twitter heeft gigantisch veel data. Je hebt geen idee wat ze voorheen allemaal wel en niet verkochten.

[vharten]

Volgens de site van Gnip leveren zij ook alleen informatie over 'publicly available tweets', dus geen privéberichten of tweets van afgeschermde profielen.

Het werd dus inderdaad al wel verkocht, doel van het plan uit dit nieuwsbericht is om het gratis beschikbaar te stellen aan onderzoekers met een goed plan.

[Verwijderd]

De R&D afdeling van de NSA schrijft nu al een voorstel.

[Verwijderd]

De R&D afdeling van de NSA schrijft nu al een voorstel.

Hoezo? Het gaat hier over data die altijd al voor iedereen zichtbaar was, het is alleen makkelijker gemaakt voor de wetenschappers. Alleen tweets die volledig openbaar waren zijn beschikbaar.

Zoals TMC schrijft, het is bijzonder vermoeiend dat werkelijke elke discussie hier lijkt uit te draaien op vermeende privacy schending zonder dat de reageerders de moeite nemen het bercht even goed te lezen.

[Verwijderd]

De wereld wordt op dit moment geregeerd onder het juk van privacy schending, misschien heb je dat niet gemerkt. Dit topic gaat over het beschikbaar maken van persoonlijke gegevens aan wetenschappers en daarmee kom je op het terrein van privacy.

En als je praat over privacy in het tijdperk van Edward Snowden, waar op dit moment kamervragen gesteld worden aan Plasterk, met alles wat er sinds...wanneer was het...de zomer van 2013 naar buiten is gekomen, vind ik het vreemd dat jij het raar vindt dat alles nu in de richting van privacy wordt getrokken.

We leven in een cruciaal tijdsgewricht. Mensen beseffen dat niet. Niemand snapte dat tijdens WO II. Mensen zijn gewoon bezig met hun eigen dingen. Wie heeft overzicht over het geheel? Dat is een zaak van globale willekeur. Mensen zien dingen afglijden. Slechter worden.

Ik zie een heel duidelijke trend, een heel duister pad dat te maken heeft met de schending van onze mensenrechten. Niet alleen privacy, maar ook het oeroude principe van 'nee heb je en ja kun je krijgen' staat op het spel. (Orgaandonatie discussie: iedereen is automatisch 'ja' tenzij je registreert dat je 'nee' bent.) Er zijn trends zichtbaar waaruit ik opmaak dat de zekerheid van burgerrechten- en vrijheden langzaam opzij gezet worden voor angst en nanny-state, controle op iedere burger m.b.v. ICT.

Alle discussie zijn nu onderhevig aan deze trends. We zijn wakker geschud en jij wilt blijven slapen, of alles netjes in aparte kaders bediscussiëren. Het een heeft niets te maken met het ander. Verdeel en heers/controleer.

We leven in een nieuw tijdperk omdat een van de meest basale eigenschappen van de mens nu ter discussie staat: communicatie.

Je kunt zeggen dat een van de karakteristieke kenmerken van de mens is, de opponeerbare duim. Daarmee kunnen we heel veel handenarbeid verrichten. Andere dieren kunnen dat niet. Sommige apen wel. Met zo'n duim kun je een wapen maken maar je kunt er maar een wapen tegelijk mee afschieten. Ja, je kunt een heleboel mensen naast elkaar zetten en je noemt dat een leger, maar allemaal zijn het individuen met een wapen. En ja, een duim kan nukes afvuren, dat klopt ook.

Maar ICT is van een andere orde. Het is techniek waarmee je ineens dat wat ons mens maakt, communicatie, naar een niveau tilt waar het individu niet langer de begrenzing is van risico.

Communicatie is het uitwisselen van data, via mond geluiden en nu massaal via internet. Uit data kun je informatie halen. En informatie raakt aan privacy.

Of je nu wilt of niet, elke discussie die te maken heeft met communicatie gaat over privacy. Niet iedereen ziet dit verband.

[Shep]

Dat was ook het eerste wat in mij opkwam.

[RagingPenguin]

Die hebben zo ook al toegang, zonder goedgekeurd plan

[ustinov]

Dit idee komt rechtstreeks uit het boek "The Circle" van Dave Eggers.

[Barryke]

Elke tweet ter wereld? Die hebben ze al lang op de schap liggen.. Twitter heeft sinds 2007 betaalde diensten (API's) voor commerciele partijen om ze op te vragen..

[Reactie gewijzigd door Barryke op 25 juli 2024 03:36]

[Polbeer91]

Geldt dit ook voor berichten op niet-openbare accounts?

[Metian]

Als ik het nieuwsbericht mag geloven, zal het antwoord op de vraag ja zijn.

Toegang te krijgen tot een database met daarin alle op Twitter geplaatste berichten.

Dus het lijkt me dat ook niet-openbare accounts die tweeten in deze database komen en dus toegankelijk zijn voor de wetenschappers.

Ergens klinkt het wel logisch dat wanneer je in de database kijkt, dat je ook de gesloten tweets terug kan lezen.

[Reactie gewijzigd door Metian op 25 juli 2024 03:36]

[TMC]

Helemaal niet, gaat enkel om publieke data. Staat letterlijk in de eerste alinea met grote letters als je even de bron had bekeken.

Werkelijk ongelofelijk hoe makkelijk men dingen beweert die feitelijk compleet onjuist zijn.

[Verwijderd]

Persoonlijk vind ik dit toch wel een beetije de fout van Tweakers. Het is een redelijk belangrijk detail over het nieuws, maar dat nemen ze dan totaal niet over. In de titel staat zelfs "alle geplaatste berichten", was dus het tegenovergestelde impliceert.

Ik verwacht dat als ik nieuws lees op Tweakers, dat de informatie in de berichten duidelijk en compleet is. Als ik voor elk bericht ook nog eens de bron zou moeten lezen, kan ik net zo goed naar die andere nieuws sites gaan.

[TMC]

Ja daar heb je zeker een punt idd.

Toch vind ik het niet veel moeite om even op een simpele link te klikken om de feiten te checken voordat je hele stellige uitspraken doet.

[kodak]

Het lijkt er sterk op dat Twitter dat bar weinig kan schelen gezien de huidige moeite die ze niet doen om daarover duidelijkheid te geven. Privacy bij Twitter lijkt niet te bestaan.

[Rembert]

Oh, Twitter archiveert dus kennelijk alles. Eens gekeken hoe ver ik met mijn eigen tweets terug kan. Met de twitter client 1 jaar. Via de website kan ik inderdaad alles benaderen.

[PirateStef]

hoe denkje dat ze je targetten met reclame?

[Wolfos]

Je kan ook voor jezelf een archief aanvragen dat je snel kan doorzoeken. Staat ergens bij Twitter settings ofzo.

[XBL]

Wat dacht je dan? Waar Twitter uniek in is en waar ze hun geld mee verdienen is hun data. Ze zouden gek zijn om dat weg te gooien.

[muppet1986]

Ook dat kan misbruikt worden...

[EchoWhiskey]

Dan moet je niet Twitteren.
Volgens mij is juist het doel van twiiteren dat iemand iets openbaart voor de rest van de wereld.
Iets wat hij/zij wil delen.

Ik vind het wel een grappig gebruik van die data. Wellicht levert het zinvolle informatie op.

[kodak]

Twitteren is niet hetzelfde als broadcasten. Zo heb je bijvoorbeeld de mogelijkheid om tweets te beschermen. Waarom zou een paar personen opeens recht hebben op toegang tot alle tweets als er verschil zit tussen publieke tweets en afgeschermde tweets? Ik zie nog geen onderbouwing waarom deze toegang plots zou moeten kunnen en miljoenen gebruikers plots geconfronteerd worden dat hun berichten toch niet zo afgeschermd zijn zoals overeengekomen is met Twitter. Ongeacht het nut van de wetenschap.

[TMC]

Het gaat enkel om publieke data, als je gewoon even de bron leest had je dat kunnen zien.

Today we’re introducing a pilot project we’re calling Twitter Data Grants, through which we’ll give a handful of research institutions access to our public and historical data.

Oftewel, ipv dat wetenschappers zelf moeten data minen, geven ze data in hapklare vorm. Niks mis mee lijkt me.

Jammer dat de reacties voor de zoveelste keer uitloopt in nutteloze privacy discussie van mensen die niet eerst de feiten even bekijken.

Ik vind het persoonlijk zeer interessant dat bijvoorbeeld epidemieën voorspeld zouden kunnen worden ahv tweet gedrag. Maar ipv dat de discussie zich richt op de mogelijkheden van wetenschap gecombineerd met techniek (daar lees ik Tweakers voor), vervalt men in de comments voor de zoveelste keer in simpele "niks is veilig"-kreten.

Privacy is belangrijk hoor, maar kunnen we het niet gewoon een keer hebben over de postieve kanten van techniek, data en wetenschap? Die zijn er namelijk ook legio. Voor de zoveelste keer open deuren intrappen met holle kreten m.b.t. privacy heeft m.i. weinig nut.

[DJ Henk]

Toch blijft het punt staan: je kiest er zelf voor om je data in handen te geven van een commercieel bedrijf dat geld binnen moet zien te halen. Erop vertrouwen dat alles netjes achter slot en grendel blijft is hopeloos naief.

[dasiro]

waarom heb je dan privacy-settings ?

[RetepV]

Volgens mij staat er nergens dat ze de privacy settings zullen negeren. Als die er al zijn, want ik gebriuk geen twitter.

Daaruit volgt een nieuwe vraag:

Waarom denk jij dat ze de privacy settings zullen negeren?

[DJ Henk]

waarom heb je dan privacy-settings ?

Waarom wast elk wasmiddel al witter dan wit en wordt het toch telkens verbeterd? Om jou als koper een goed gevoel te geven, nergens anders om.

Privacy-settings geven je een goed gevoel, maar net als bij reclame moet je je realiseren dat hoe het klinkt en wat echt zo is twee verschillende dingen zijn. In de ellenlange EULA's die aan dit soort diensten vastzitten wordt vast ergens uitgelegd dat privacy hier heel anders gedefinieerd wordt dan in het woordenboek. Bijvoorbeeld dat ze alles met je data mogen doen, als het maar geaggegreerd is, of als je echte naam vervangen wordt door een nummertje, of als het gedaan wordt door "partners" van de dienst. (Waarbij iedereen die genoeg geld betaalt automatisch een partner is.)

[dasiro]

privacy is er niet zomaar om jou en mij een "goed gevoel" te geven, maar omdat er wetten over bestaan wat er met bepaalde data mag gedaan worden en wanneer er hiervoor SPECIFIEK toestemming moet worden gevraagd

[DJ Henk]

Dat klopt. Maar de privacy in wetten is niet noodzakelijkerwijs hetzelfde als de privacy in Twitter (in dit geval). Er is geen wet die zegt dat een bericht op Twitter (prive of publiek) op een bepaalde manier vertrouwelijk behandeld moet worden. Er is geen briefgeheim voor tweets.

[dasiro]

Dat klopt. Maar de privacy in wetten is niet noodzakelijkerwijs hetzelfde als de privacy in Twitter (in dit geval). Er is geen wet die zegt dat een bericht op Twitter (prive of publiek) op een bepaalde manier vertrouwelijk behandeld moet worden. Er is geen briefgeheim voor tweets.

er is nog geen jurisprudentie voor, maar het zou mij straf lijken dat de vertrouwelijke behandeling van (privé)berichten niet wettelijk geregeld is

[gladius1983]

Zullen deze berichten er niet uitgefilterd of anoniem gemaakt zijn?

[EchoWhiskey]

" Zo heb je bijvoorbeeld de mogelijkheid om tweets te beschermen"

Als ze inderdaad beschermde tweets ook ter beschikking stellen is het inderdaad wat anders. Maar ik kan mij voorstellen dat ze die er buiten (moeten) laten.
Voor alle openbare tweets zie ik geen probleem.

[BoringDay]

achteraf praat ....
stond niet in de voorwaarden

[1993jjohan]

En vervelende advertenties en andere dingen die ik niet wil.

Ook is twitter niet de enige en zal bijvoorbeeld facebook dit dus ook wel doen.

[godofal]

om echowhiskey te herhalen: dan moet je niet twitteren

twitter moet ergens de servers van betalen, net zoals facebook, en moet dus inkomsten genereren
niks is gratis, ook niet online, en als je niks koopt/verkoopt dan ben je zelf het product

[fluffy1]

Veel open-source applicaties kan je wel degelijk gratis noemen (voor de eindgebruiker), zonder dat de gebruiker zelf het product wordt.

[Verwijderd]

Dat klopt, maar open-source applicaties kan je downloaden en gebruiken op je pc. Maar Twitter heeft een volledig server park te onderhouden die maandelijkse kosten van de Internet-aansluiting, stroom, koeling, ... hebben. Voor een hobby project kan je nog zelf de hosting betalen, maar Twitter zal dit niet zomaar kunnen betalen zonder enig inkomen. Dus zij moeten wel wat doen om inkomsten te genereren.

Zo zou je de analogie kunnen maken dat de open-source applicatie die gratis is jouw ook geld kost om te draaien. Je pc heeft namelijk ook stroom en internet nodig om dit te draaien. Dit valt hier natuurlijk samen met het ander gebruik van de pc en valt zo niet op en wordt toch betaald.

[--Andre--]

Over de open source applicatie gesproken, de open source gemeenschap draait niet puur op vrijwilligerswerk hoor, en zijn ook betaalde krachten in dienst, en daar is dus ook geld voor nodig.

[sygys]

Ondanks dat er geld verdient moet worden wordt in mijn ogen online adverteren steeds minder effectief. Overal kom je tegenwoordig reclame tegen. mensen worden er immuun voor. Je zult mensen moeten misleiden om ze ergens te krijgen waar ze eigenlijk niet willen komen. Echter hiermee frustreer je mensen waardoor zij zeker niet kopen wat je graag zou willen als bedrijf.

Leuk! reclame voor een youtube video! maar als je 10 korte filmpjes van een minuut kijkt waarvan in totaal 4 minuten reclame is. dan ben ik er heel snel klaar mee! Hiermee mist het zijn doel volledig.

We moeten naar een reclame vrij internet waarbij we net als bijvoorbeeld een spotify per maand betalen voor het gebruik. vervolgens houdt deze dienst in de gaten wie wanneer welke service gebruikt en op deze manier wordt dan het potje verdeeld onder deze services.

Deze manier van reclame heeft in mijn ogen niet de toekomst. Maar goed ik ben geen toekomst goeroe dus wie weet welke kant het op gaat.

[Tukkertje-RaH]

Ben ik niet met je eens...

Je kan niet 140 miljoen mensen binnenhalen als klant en dan ineens hun data gaan verkopen onder het mom "dan moet je maar niet twitteren" & "we moeten ook geld verdienen".

Er zijn binnen twitter gesloten groepen waarvan de tweets niet openbaar zijn. Dit zou je zelfs voor een rechtbank kunnen aanvechten. Die tweets dan verkopen aan iemand met een "onderzoeksplan" lijkt me ethisch zeer onjuist.

Recent is een rechtbank journalist begonnen met betaalde tweets. Je mag in zijn twitter groepje als je 4 euro per maand betaalt, en dan ontvang je zijn ideeen over uitspraken in rechtszaken. Dat business model is nu om zeep als je met een wollig plannetje je alsnog (gratis) toegang kan krijgen tot zijn informatie.

En wat als Facebook hetzelfde zou doen? Al jouw foto's delen met studenten of onderzoekers - ook al zijn dat afgeschermde foto's?

[Verwijderd]

Het staat er niet bij, maar neem aan dat je dit kan zien als een grote enquete, dus misschien voor de integriteit van het onderzoek worden de berichten gegeven zonder de gebruikersnaam erbij?

[SJBijzitter]

Dus als ik mijn profiel afgeschermd zou hebben... was dit toch alleen maar een placebo?
Zucht.

[darkdesign]

Een half miljard berichten per dag. De gehele database is onvoorstelbaar groot.. Maar inderdaad, ze gaan jouw berichten lezen . Dit gaat om statistieken, hoeveel bepaalde woorden voorbij komen gedurende bepaalde periode en verspreid welke gebieden. Je kan dus heel veel nuttige info halen uit die gegevens. Hoe de verspreiding van ziekten verloopt in welk tijdsbestek. Enz Enz

[Anonyymm]

Privacy is belangrijk maar je bepaald zelf wat je plaatst. Als je iets op Internet plaatst moet je ervan uit gaan dat het gebruikt kan worden en nooit meer verdwijnt. Wil je dat niet, dan moet je dat bericht niet plaatsen.

Twitter, maar ook Facebook is qua onderhoud mega duur. En ze vragen geen abonnementsgeld. Gratis, nee natuurlijk niet. Je betaald met je eigen data.

Met deze gegevens kunnen onderzoeker misschien wel heel interessante dingen vertellen, waarschuwingen uitbrengen, oid. Ik vind dit wel interessant met wat ze uiteindelijk op de proppen gaan komen.

[TechNico]

Paar jaar geleden maakte ik zelf gebruik van een twitter stream van Twitter.
Ik filterde toen op bepaalde woorden over het onderwerp en sloeg deze op in een database.
Staan nu nog iets van 12 miljoen relevante tweets in.

Aan de hand van de grafieken op basis van de verzamelde data werden er interessante relaties zichtbaar.
Het ging om medisch/psychologisch onderzoek.
De uitkomsten zijn van dienaard dat er mensenlevens mee te sparen zijn.
Helaas toonde de 'industrie' en de Universiteiten geen interesse en heb ik het project stop moeten zetten omdat het mij teveel geld ging kosten.
Tja bijna 2000 overlijdens door zelfdoding per jaar, deze aandoening is niet zo sexy en dan krijg je mensen gewoon niet geinteresseerd.

[masauri]

Wat ik me afvraag, hoe gaan ze de taal kwestie opnemen? Iemand die niet in de Engelse taal tweet?
Als je iedere taal nog is moet analyseren en vertalen brengt dat ook enorm veel werk mee.

[TMC]

Het onderzoek is er natuurlijk voor om dat soort problemen systematisch te tackelen. Ik neem aan dat het geplande onderzoek wel iets meer inhoudt dan een simpele query loslaten op de database die Twitter aanlevert.