Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Apple stopt wereldwijd tijdelijk met beluisteren van audio-opnames Siri

Apple stopt tijdelijk met het beluisteren van stemopnames van Siri. Gebruikers krijgen later ook de optie om het verzamelen van zulke data te minimaliseren. Het bedrijf reageert daarmee op de ophef van eerder deze maand, en volgt Google dat donderdagavond hetzelfde besloot.

Apple zegt dat medewerkers wereldwijd stoppen met het beluisteren van de opnames. In een verklaring aan verschillende techwebsites zoals The Verge en TechCrunch zegt het bedrijf dat het 'een goede Siri-ervaring wil bieden en tegelijkertijd de privacy van de gebruiker wil beschermen'. "We gaan dit grondig bestuderen en pauzeren daarom het beoordelen van Siri-opnames wereldwijd." Naast dat Apple stopt met luisteren naar opnames komt het bedrijf in de toekomst met een software-update waarmee gebruikers kunnen bepalen of zij hun audio willen laten opnemen. Het bedrijf zegt niets over al opgeslagen opnames en of die worden verwijderd.

Het bedrijf reageert daarmee op het nieuws van vorige week toen de Britse krant The Guardian onthulde dat Apple-medewerkers in sommige gevallen opgenomen gesprekken van Siri terugluisterden om de kwaliteit te verbeteren. Dat gebeurde bijvoorbeeld wanneer het wekwoord 'Hey Siri' onjuist was gebruikt of wanneer een audio-opname niet te verstaan was. In de voorwaarden was Apple niet duidelijk over welke data er precies verzameld werd.

Tegelijkertijd met het nieuws onthult Nu.nl dat er ook Nederlandstalige gesprekken werden opgenomen. De site sprak met een medewerker van GlobeTech, een aannemer die door Apple wordt ingehuurd om opnames te beluisteren voor kwaliteitsverbetering. De medewerker zegt dat er zo'n twintig Nederlanders bij het bedrijf werkten die per persoon zo'n vierhonderd fragmenten per dag te horen kregen. Volgens Apple gaat om 'minder dan een procent' van alle opnames.

Donderdagmiddag maakte Google bekend tijdelijk te stoppen met het beluisteren van audio-opnames van de Assistant. Van dat bedrijf was al bekend dat medewerkers opnames beluisterden, maar dat kwam voor veel gebruikers desondanks als verrassing. Google heeft inmiddels ook een opt-out doorgevoerd in de instellingen, waarmee gebruikers het verzamelen van de data kunnen stilzetten.

Door Tijs Hofmans

Redacteur privacy & security

02-08-2019 • 07:40

167 Linkedin Google+

Reacties (167)

Wijzig sortering
Dit is eigenlijk een dieptepunt voor Apple. Ze zeggen zich jarenlang in te zetten voor de privacy van hun gebruikers, maar als ze zelf iets nodig hebben dan gaat het volledig de verkeerde kant op. Ik ben al > 20 jaar een fanatieke Apple-gebruiker en ik vind de strijd voor privacy een mooie bonus, maar dit maakt die hele strijd tot een wassen neus. Dat het maar om 1% van de fragmenten gaat maakt niet uit. Het zijn zoveel fragmenten dat dit gewoon op grote schaal gebeurt. Dat smoesje horen we vaker van Apple, maar 1x in de fout is gewoon al teveel.

Wat het allemaal nog erger maakt is dat Apple externe bedrijven inhuurt om dit soort zaken te doen. Jouw gegevens worden dus zonder dat je het weet gedeeld met een andere partij, dat kan niet zomaar.

Apple zegt net als Google met een opt-put te komen, maar de enige goede stap is een expliciete opt-in. Als ze dit vanaf het begin hadden gedaan, zou het geen enkel probleem zijn geweest. Ik verwacht ook dat de AP een onderzoek in gaat stellen (ook naar gecontracteerde bedrijven, omdat zij willens en wetens meedoen aan een - in mijn ogen - ernstige vorm van privacy-schending).

[Reactie gewijzigd door Gustaaf437 op 2 augustus 2019 08:04]

Het was al een expliciete opt-in... Zodra je het aanzet verschijnt een pop-up die onomwonden letterlijk begint met de melding dat alles naar Apple wordt gestuurd en er staat dat het in sommige gevallen beluisterd en transcribed wordt. Je kan het nalezen in Instellingen - Siri en zoeken, want daar staat het ook prominent in beeld.

Dus het was al opt-in ;) Next next next klikken is eigen schuld.
Dus je kunt Siri gebruiken zonder deze opt-in aan te vinken? Want dat is wat een opt-in mogelijk maakt.
Nee, wat hij bedoelt is dat Siri per default uit staat en je de kans krijgt om deze aan te zetten. En dan nog een stapje verder: als Siri aan wordt gezet staat per default de optie "Hey Siri" uit (wat juist de problemen veroorzaakt die in dit artikel worden genoemd: de telefoon denkt dat dit wordt gezegd, activeert Siri, en neemt opeens iets op wat anderen niet mee hadden moeten krijgen). Dus je moet al 2 keer op ja hebben gedrukt voordat dit alles gebeurt.
Het probleem ligt ook niet hier. het probleem is dat het ook data doorstuurt waneer siri denkt dat je iets vraagt, maar het niet zo is, en dat is wel heel iets anders, want dan worden in een keer onbedoelde gesprekken opgenomen en verstuurd.
Die onbedoelde gesprekken zijn mensen die per ongeluk op de Siri knop duwen zonder dat ze het door hebben. Het is niet zo dat Apple willekeurige gesprekken opneemt zonder dat mensen Siri activeren, mensen activeren het gewoon onbedoeld. Het zijn dus een soort van broekzoek Siri vragen die dan worden verstuurd.
Ja siri maakt nooit een fout, je hoeft niet op een knop te drukken om siri te laten werken.

Daarbij gaat het onder meer om erachter te komen of Siri bewust of per ongeluk werd ingeschakeld,
Een van de bronnen van de Britse krant stelt echter dat op deze manier er allerlei vertrouwelijke gesprekken te horen zijn voor de door Apple ingehuurde medewerkers.
Klopt dat SIRI onbedoeld vaak wordt ingeschakeld en terwijl het alleen op mijn stem zou moeten reageren. Dat gebeurd oa bij youtube. Heb sowieso geen hoge dunk van SIRI, alles wat je zou willen dat jet zou doen, doet het niet. Speel mijn favoriete album xxx af “Itunes bevat geen muziek albums”. Klopt, gebruik spotify. Dan hebben we het alleen over eenvoudige opdrachten. Boeie voor hoe hoog is de Eifel toren is. En ja, verbaas mijn niet dat dit naar de cloud wordt gestuurd, altijd sceptisch over het delen persoonlijke informatie. Daarom en niet alleen staat SIRI uit.
raar, bij mij reageert siri alleen als ik 't zeg. Als m'n vriendin het zegt, reageert mijn telefoon niet. (Alleen die van haar).

qua spotify, tja. Volgens mij kan spotify gewoon siri integratie inbakken, doen ze dat niet dan pakt siri de lokale iTunes library.
Waarschijnlijk toegang tot siri uitstaan vanaf het vergrendelscherm? :)
Dit soort opt-in zo onduidelijk maken dat het gros het niet snapt / leest is ook een kunst natuurlijk. Tegenwoordig weten grote bedrijven prima hoe ze diep in de voorwaarden of in lange stukken tekst dingen kunnen zetten die de consument toch niet gaat lezen. Dan kun je zeggen: eigen schuld, maar het moet wel redelijk blijven.

Het is opvallend dat Apple jarenlang als niet-evil alternatief voor Google werd gezien, maar als puntje bij paaltje komt luisteren zij je net zo goed af, ze zijn er alleen wat minder transparant over. Bij Google kun je alle opgenomen Google Assistant-spraakberichten terugluisteren en als je wil verwijderen. Kan dat bij Apple ook?

[Reactie gewijzigd door Grrrrrene op 3 augustus 2019 19:35]

Dit is eigenlijk een dieptepunt voor Apple. Ze zeggen zich jarenlang in te zetten voor de privacy van hun gebruikers, maar als ze zelf iets nodig hebben dan gaat het volledig de verkeerde kant op. Ik ben al > 20 jaar een fanatieke Apple-gebruiker en ik vind de strijd voor privacy een mooie bonus, maar dit maakt die hele strijd tot een wassen neus. Dat het maar om 1% van de fragmenten gaat maakt niet uit. Het zijn zoveel fragmenten dat dit gewoon op grote schaal gebeurt. Dat smoesje horen we vaker van Apple, maar 1x in de fout is gewoon al teveel.
Persoonlijk vind ik dit een onterechte klacht. Zodra je Siri aanzet krijg je hele mooie tekstvelden die je kunt aanklikken die ingaan op de privacy in combinatie met Siri. Onder andere wordt hier expliciet aangegeven dat deze data wordt verstuurd naar Apple om te worden geanalyseerd. Dat is in dit geval ook gebeurd.

Mocht je niet willen dat alle gesprekken het risico hebben om opgenomen te worden, zet dan "Hey Siri" uit. Dan wordt er alleen geluisterd wanneer jij dat wilt. Mocht je niet willen dat je voice data bij Apple komt, zet dan Siri (en dictatie) volledig uit. Je hebt ook een hele duidelijke knop binnen de Siri settings zitten om je anonieme identifier (aangezien bepaalde workflows per persoon verschilt wordt er nog steeds een persoonlijk tintje aan de anonieme identifier gegeven) te resetten.
Ja het staat er expliciet in. Maar tegelijk maken ze reclame campagnes die zeggen:

We’re in the business of staying out of yours.

Ik vind het wat dubbel. Als IT’er vind ik het logisch dat ze gesprekken moeten beluisteren om Siri beter te maken, maar tegelijk ben ik er zeker van dat heel veel mensen enkel die reclame campagnes zien en niet de kleine lettertjes. Dit moet naar mijn mening opt-in worden, desnoods met een pop-up tijdens de Siri initialisatie die uitlegt waarom ze potentiël je gesprekken willen beluisteren.
Ze moeten af en toe naar berichten luisten, simpelweg om het product te verbeteren. Zonder dat blijft de techniek achter op concurrentie, sterft het een stille dood en kunnen gebruikers het helemaal niet meer gebruiken. Het is een necessary evil zeg maar, en een waar Apple heel erg duidelijk over informeert.
Dit moet naar mijn mening opt-in worden, desnoods met een pop-up tijdens de Siri initialisatie die uitlegt waarom ze potentiël je gesprekken willen beluisteren.
Dat is dus al gewoon zo. Er staat een hele duidelijk melding wat het inhoud op het moment dat je Siri aan zet. Niet overdrijven met kleine lettertjes dus.

Storm in een glas water ...
Siri is opt-in. Staat ook heel duidelijk bij dat gesprekken worden opgenomen en bij Apple op een server terecht komen etc etc.
Hoewel we allemaal een theorie en praktijkexamen hebben moeten volbrengen, kennen denk ik maar weinig mensen alle verkeerswetten uit hun hoofd.

Als je dan vervolgens een boete krijgt omdat je niet op de hoogte was van die specifieke regel dan is dat uiteraard geen geldig excuus om onder een boete uit te komen.

Aan de hand van dit voorbeeld is vragen om een opt-in waarbij gebruik zonder akkoord wel mogelijk is, is als verlangen deel te mogen nemen aan het verkeer zonder dat je akkoord gaat met bepaalde verkeerswetten. Dat klinkt, en is ook, vrij absurd.

Ik lees ook niet altijd alle dingen waar ik mee akkoord ga, maar dat is voor mij een gecalculeerd risico dat ik neem. Als ik daar mezelf mee dupeer heb ik natuurlijk niet het recht om te klagen...
Dat is niet dubbel he. Het gaat er over dat je data niet wordt misbruikt om je bvb advertenties of iets anders aan te smeren. Die data gaat enkel over het verbeteren van de dienst die je gebruikt.

Het enige waar ik problemen mee heb is dat Apple daar derden voor inhuurt. Het is niet duidelijk in hoeverre Apple controle uitvoert op die derden. Dan denk ik bvb aan de situatie vroeger waar Foxconn zijn voeten veegde aan de richtlijnen van Apple en er kinderarbeid plaatsvond in hun fabrieken zelfs nadat Apple dat uitdrukkelijk verbood.
Dit,

Het staat letterlijk in de voorwaarde, echt een storm in een glas water momenteel.
Dat vind ik ook steeds maar 95% van de mensen gaan nooit de voorwaarden lezen.
En laat het nu net die mensen zijn die er moeilijk om doen en Apple doet alles voor hun imago schoon te houden dus geven direct in (net zoals Google). Want wij zien Facebook als de slechte op vlak van privacy maar Google is technisch gezien nog veel erger. Apple houdt deze data ook bij met het verschil dat ze het intern gebruiken ipv te verkopen.
Google verkoopt geen data. Dit is een misvatting. Àls ze data zouden verkopen zouden ze hun business weggeven aan anderen. Je krijgt output op basis van wat zij aan data hebben. Dus als je targeted ads wil zorgen zij ervoor dat het bij de juiste personen terecht komt. Externe partijen hebben we geen toegang toe.
Ja mijn zinnen zijn niet goed gestructureerd, Facebook verkoopt data maar in vergelijking met Google weten die vrij weinig van jou. Google slaat je data anoniem op maar als je alles op een hoop hebt, zoals mensen die locatie op hebben staan op Android en met Google Maps, Waze zich verplaatsen hun hele traject is te vinden (door zichzelf en Google). Ik vind het een leuke feature maar besef wat ze daardoor van mij bezitten, maar veel mensen weten dit niet.
Helemaal mee eens, de media maakt dit zo groot, terwijl dit al heel lang bekend is en publiekelijk wordt toegegeven door Apple. mensen die dit niet zagen aankomen zijn naief.

[Reactie gewijzigd door nl-chrs op 2 augustus 2019 11:13]

Dat data wordt opgestuurd wil nog niet zeggen dat hele gesprekken waaronder ook gesprekken die door een fout zijn opgenomen geanalyseerd mogen worden.

Sterker nog het is voor een tech bedrijf, of beter gezegd het moet niet moeilijk zijn om opgenomen stukken te verdelen in meerdere fragmenten van max 5 minuten die dan door verschillende mensen geanalyseerd worden. Alleen op die manier waarborg je privacy.

Praktisch gezien is het natuurlijk veel eenvoudiger om lange stukken tekst top te nemen en die door een mens te laten analyseren. Dat werkt veel sneller qua analyse dan kleinere stukken tekst.
Neemt niet weg dat ze grote stukken gewoon moeten opknippen.

Waar het bij de analyse om gaat is dat het systeem de tekst niet herkend en analyse door mens gedaan moet worden.

Maar zelfs als ik nu bij google lees opt-out zou dit gewoon verplicht opt-in moeten zijn.
Verschillende privacy waakhonden zijn er gelukkig al mee bezig en dat zal ook de reden zijn dat apple, google en wie weet amazon dit nu stopzet.
Google ligt natuurlijk qua privacy al onder een vergrootglas. Apple doet zich voor als privacy beschermer maar dit is natuurlijk daar een heel slecht voorbeeld van.
Dat data wordt opgestuurd wil nog niet zeggen dat hele gesprekken waaronder ook gesprekken die door een fout zijn opgenomen geanalyseerd mogen worden.
Dat het geanalyseerd wordt wordt ook heel duidelijk benoemd. Als je daarna ook nog eens "Hey Siri" activeert terwijl er gewoon false positives tussen kunnen zitten (ik heb het zelf uitgezet nadat bepaalde Youtube videos en liedjes ook Siri activeerden) kun je verwachten dat er dus ook onverwachte situaties tussen zitten die opgestuurd worden voor analyse.
Maar zelfs als ik nu bij google lees opt-out zou dit gewoon verplicht opt-in moeten zijn.
Maar het is opt-in.
False positive is juist het probleem, die zijn zonder toestemming opgenomen.

Geef aan ze kunnen als ze willen hele gesprekken opdelen ter analyse. Dat doen ze niet waardoor gesprekken die opgenomen worden zonder toestemmen, false positive inhoud kunnen bevatten die herleidbaar is naar 1 persoon.
Dit kun je ook op een Android telefoon. Het kost wat meer moeite.
Mocht je Facebook gebruiker zijn, dan maakt het al helemaal niet meer uit welk platform je gebruikt.
Als je FB gebruikt maakt niks meer uit dan heb je sowieso heel je privacy al opgegeven :+
En die van de mensen in je contactlijst. :(
Het gegeven dat je vertelt dat mensen hun privacy opgeven maakt niet dat deze mensen hun privacy niet meer opgeven. Google, Facebook, etc., etc., hebben ook alles gewoon in hun voorwaarden staan.
Àls Apple zich dan ook nog eens presenteert als de voorvechter van privacy (wat sowieso een beetje onzin is als je kijkt naar hoe dat San Bernardo-verhaal, dat mensen graag aangrijpen als voorbeeld, in werkelijkheid verlopen is), blijft dit een domper voor mensen die daarin geloofden.
Google, Facebook, etc., etc., hebben ook alles gewoon in hun voorwaarden staan.
Klopt, en Apple heeft dit ook in de voorwaarden staan dus ik snap je punt. Waar ze echter verschillen is dat Apple dit ook nog eens extra toelicht in het instellingenscherm van Siri zelf, met daarbij een uitleg in mensentaal.
SIRI altijd uitstaan. Het systeem is zo dom, zie de nut nog niet ervan in.
Heb je bronnen waaruit blijkt dat die interne opnames gelekt zijn? (Oprechte vraag).

Het enige dat gelekt lijkt te zijn is de mededeling dát er geluisterd kán worden naar onbedoelde opnames vlak na het codewoord van Siri.

Dat was bij Google ook het geval hoewel ik in een nieuwsuitzending wel geanonimiseerde fragmenten heb gehoord. En hoewel dat natuurlijk geen goede PR is denk ik dat zowel Google als Apple de juiste voorzorgsmaatregelen hebben getroffen. Dwz. ze hadden het niet anders kunnen doen om hetzelfde doel te bereiken als nu: training en bijsturing van je systeem.

Ook Samsung zal dat met Bixby doen, net als Amazon met Alexa en Microsoft met Cortana.

Het verschil is dat Google z’n businessmodel bestaat uit het verkopen van advertentieruimte en targeting mogelijk maakt ... het businessmodel van Apple (en Samsung en Microsoft) is fundamenteel anders.

[Reactie gewijzigd door DigitalExcorcist op 2 augustus 2019 10:13]

Interne opnames, paar weken terug te zien in Belgsich tv programma.

Commentaar google de man die dit had doorgegeven was fout, had dat niet mogen doen. Klopt dat mag hij idd niet maar google mag ook niet gesprekken opnemen die geen onderdeel van een commando zijn.
klokkenluiders moeten wat dat betreft altijd hun contract breken.

Bij panama papers verbrak een klokkenluider ook zijn contract met een bank.
Het probleem is vooral dat Google Assistent dácht dat het een opdracht was. En ja, als er geen concrete opdracht volgt zou die data gelijk gewist moeten worden. Dat zou netjes zijn.

Bij mij pingelt ie ook af en toe random als ie denkt aangesproken te worden, en als ik ‘m wél echt aanspreek werkt het lang niet altijd 😜 Siri gaat bij mij stukken beter...

Maar goed: het enige lek was dus de klokkenluider die lekte dat gesprekken kúnnen lekken. En er is dus geen sprake, voor zover bekend, dat er écht gesprekken op straat liggen. Dan heeft Google z’n zaakjes toch prima op orde...?

[Reactie gewijzigd door DigitalExcorcist op 2 augustus 2019 11:08]

Probleem is dat hele gesprekken worden opgenomen en die gesprekken informatie kunnen bevatten die herleidbaar zijn naar personen. Dat mag niet volgens de privacy wetgeving. Dat is ook nooit waar jij toestemming voor hebt gegeven.
Klopt helemaal hoor. En dan heb je nog dat een bedrijf als GlobeTech geen interne afdeling van Apple is, maar “slechts” inhuur. Evengoed wordt het strak geanonimiseerd maar het gaat inderdaad om de inhoud van de gesprekken.

Evengoed denk ik dat zowel Google als Apple alle belang heeft bij het zo zorgvuldig mogelijk behandelen van die data.

[Reactie gewijzigd door DigitalExcorcist op 2 augustus 2019 12:23]

Ik snap niet zo goed wat hier extra privacy schending aan is. Apple verzameld gegeven van je en dat deden ze altijd al, zolang ze die gegevens niet verkopen of namen bij geluidsfragmenten opslaan zie ik het probleem niet. Al die heisa om niks.
Niemand heeft ooit toestemming gegeven om zijn of haar gesproken commando's door te laten sturen. In die commando's zitten bijzondere persoonsgegevens. Hoewel zowel Apple als Google aangeven deze zoveel mogelijk te filteren kunnen ze daar alles behalve zeker van zijn. Dat maakt mijn stemcommando (ook daar ben ik al aan te herleiden) als een bijzonder persoonsgegeven. Daar zijn hele strenge regels voor, die mag je niet zomaar verwerken, laat staan zomaar doorsturen zonder dat degene van wie de commando's zijn daar toestemming voor heeft gegeven.
Jawel hoor dat heb je wel, zoals al eerder is gezegd hier, het staat in de terms & conditions. Zie hier een artikel van de Huffington Post van heel lang geleden met een screenshot van de terms & conditions:

https://www.huffpost.com/entry/iphone-legal-facts_n_6787876

By using Siri or Dictation, you agree and consent to Apple and its subsidaries' and agents' transmissions, collection, maintenance, procession and use of this information, including your voice input and User Data, to provide and improve Siri, Dictation, and dictation functionality in other Apple products and services.
Hoewel ik het hier mee eens ben: Is en blijft dat wel erg gemakkelijk om je achter te verstoppen. Zeker als er naast de voiceclip ook andere user data wordt meegestuurd zoals app-data en locatie kan je je afvragen of de gebruikers zich bewust zijn van de hoeveelheid data die wordt verzonden.

Ik snap volledig dat Apple, Google, etc simpelweg hun dienst willen verbeteren, maar wat het meest damning was in het artikel wat ik las over Apple, was dat de Apple Watch al ging luisteren bij het liften van de watch en dat er dus ook dergelijke user-data werd meegestuurd.

Apple kan zich met allerlei voorwaardes, regeltjes en acceptaties indekken, maar als deze manier niet volgens de wet toegestaan is, dan maakt dat weinig uit.

Het is een ander verhaal als Siri zegt: "Ik begrijp het niet, mag ik dit versturen voor verbetering?" in plaats van ooit een schuifje aanzetten, samen met de andere tig schuifjes met allemaal kleine lettertjes.

[Reactie gewijzigd door brammetje1994 op 2 augustus 2019 09:50]

Ik begrijp oprecht de verontwaardiging niet.

1) Siri staat standaard uit. Je moet het zelf aanzetten. Je moet akkoord gaan met de voorwaarden. Dan nog een keer voor de ‘luister naar Hey Siri’ optie.

2) Dan nog is de kans nihil dat er ooit een mens naar je ‘Hey Siri’ opname zal luisteren, want die ‘minder dan 1%’ is eerder 0,01‰ gezien het aantal iOS-gebruikers.

3) Dan nog beluistert één persoon jouw fragment. Hij doet er blijkbaar nog 399 die dag dus hij doet er 50 per uur… Van verschillende mensen. Het is dus onmogelijk dat hier uitgebreide conversaties mee te volgen zijn.

4) Dan nog: Een vreemde hoort dus in het ergste geval een flard van je gesprek. Dit is nou niet bepaald iets nieuws. Als ik in de privacy van mn eigen tuin zit, is er ook altijd een redelijke kans dat de buurman of bekende langsloopt daar iets van oppikt – en dat is een veel groter potentieel probleem aangezien die mensen mij ook daadwerkelijk kennen en een stuk gesprek in context kunnen plaatsen. En dan kan een zin ineens wél significant zijn.


Hoe zou Apple dit dan volgens jou beter aan kunnen pakken? Bij elke Siri-opdracht een alert wat je eerst akkoord moet geven?
Dan nog is de kans nihil dat er ooit een mens naar je ‘Hey Siri’ opname zal luisteren, want die ‘minder dan 1%’ is eerder 0,01‰ gezien het aantal iOS-gebruikers.
Als het minder dan 1 promille was, dan is het 100% zeker dat Apple dàt had gezegd. Als het minder dan 0,5% was, dan weet ik ook wel zeker dat Apple dàt had gezegd. Het zit dus gewoon vlakbij de 1%, wat wordt beluisterd. En dat klopt gevoelgsmatig ook aardig, als je naar de berekeningen elders in dit draadje kijkt. En (bijna) 1% vind ik ontzettend veel.
Het gaat niet om bedolede vragen aan siri, maar dat er data wordt opgenomen die niet bedoeld is en al helemaal geen vraag is aan siri.
Voorwaarden zijn leuk, dat wil echter niet zeggen dat die voorwaarden qua privacy gewoon ongeldig kunnen zijn. Dat zijn ze naar mijn mening ook.
Je kan ze gewoon accepteren, het kan er allemaal in staan maar gesprekken opnemen voor analyse door willekeurige 3den kan niet. Je zal met de avg die 3den ook moeten specificeren.

Daarnaast kan men en zou men opgenomen gesprekken standaard in delen van max 5 sec moeten haken zodat een heel gesprek nooit voor 1 medewerker hoorbaar is.
Bij het configureren van Siri staat letterlijk dat gesproken commando's doorgestuurd worden naar Apple. Als je Siri wil gebruiken ga je hiermee akkoord.
Er kan ook in staan dat je elke maand een kopstoot tegen de muur beloofd te geven, maar dat maakt het nog steeds niet rechtsgeldig, ook niet als je ermee akkoord gaat.

Een beding in algemene voorwaarden is vernietigbaar indien het, gelet op de aard en de overige inhoud van de overeenkomst, de wijze waarop de voorwaarden zijn tot stand gekomen, de wederzijds kenbare belangen van partijen en de overige omstandigheden van het geval, onredelijk bezwarend is voor de wederpartij

Onredelijk bezwarend is vervolgens ook deels vastgelegd in de wet. Er is een grijs gebiedt en daar slaat deze wet op: https://maxius.nl/burgerlijk-wetboek-boek-6/artikel237

Punt is vooral dat dit een grijs gebied is. Mag je als consument verwachten dat je opnames worden doorgestuurd en verwerkt door google/apple/amazon. In mijn ogen ja, dat weet je in dit geval. Mag het worden verwerkt door mensen? Deels ja, als dit mensen zijn die daarvoor zijn getraind, zich aan protocollen houden en de data wordt geanonimiseerd en verwijderd na gebruik. Maar in bijvoorbeeld het geval van amazon bleek laatst dat ook onbevoegden toegang tot de gegevens hadden en deze niet goed was geanonimiseerd. Tevens mag die data echt voor niets anders worden gebruikt dan om het algoritme te verbeteren. Als het voor iets anders dan dat wordt gebruikt, waar je bij zeker google en amazon een vermoeden kunt hebben, dan houdt die partij zich niet aan het geleverde product. Aan de wetgevers om uit te zoeken in hoeverre er hier inderdaad de wet wordt overtreden, maar 'je hebt ervoor getekend' is niet voldoende
Een kopstoot tegen de muur geven of akkoord gaan met het feit dat commando's worden doorgestuurd naar de aanbieder ten behoeve van het gebruiken van een dienst zijn appels met peren vergelijken.

Ik ben het verder eens met de punten die je maakt en het is zeker een grijs gebied. Alleen als je aangeeft "Als het voor iets anders dan dat wordt gebruikt" zoals in het voorbeeld van Amazon, dan houdt de aanbieder zich niet aan de gestelde voorwaarden en wordt het uiteraard een hele andere discussie.

Het heeft dan ook niets meer te maken met 'je hebt ervoor getekend', want de voorwaarden waarvoor 'je hebt getekend' blijven gewoon staan alleen is de aanbieder in dat geval degene die zich er niet aan houdt. Het is dan inderdaad de taak om uit te zoeken in hoeverre de wet wordt overtreden.
'gesproken commando's doorgestuurd naar apple' in een document waarvan iedereen begrijpt dat het gaat om een automatische verwerking door een AI, wat namelijk de hele punt van de dienst Siri is.

Toestemming moet in dit soort situaties ondubbelzinnig zijn, niet 'had je kunnen weten'.
Staat anders gewoon netjes vermeld als je Siri aan zet.

Dat jij allerlei aannames maakt over het exclusieve gebruik van AI zonder die overeenkomst te lezen (en dit is een nette goed leesbare tekst, niet een eula van een paar km lang), is niet de schuld van Apple.
uhuh: https://9to5mac.com/wp-co...2uV4AA_Aov.jpg-large.jpeg
In iOS 11 and macOS High Sierra or later, end-to-end encryption in iCloud syncs certain types of personal data, such as your Siri information, across all your devices in such a way that Apple cannot read or access it.
Ok, top!

Maar even daar onder, toch niet geannonimiseerd:
Siri and Dictation

The longer you use Siri and Dictation, the better they understand you and improve. To help them recognize your pronunciation and provide better responses, certain information such as your name, contacts, music you listen to, and searches is sent to Apple servers using encrypted protocols. Siri and Dictation do not associate this information with your Apple ID, but rather with your device through a random identifier. Apple Watch uses the Siri identifier from your iPhone. You can reset that identifier at any time by turning Siri and Dictation off and back on, effectively restarting your relationship with Siri and Dictation. When you turn Siri and Dictation off, Apple will delete the User Data associated with your Siri identifier, and the learning process will start all over again.
En:
If you give your explicit consent, Apple can improve Siri and other intelligent features by analyzing how you use iCloud and the data from your account.
Er staat inderdaad dat je toestemming moet geven voor 'transcriben':
Apps can use Siri to respond to your requests or send audio to Apple to transcribe to text — but only if you give your permission first.
Maar slaat dat op losse Apps? Of Siri in het algemeen? Of moet je dat aanzetten als je Siri voor het eerst gebruikt? en kun je er dus niet omheen? Of krijg je een vraag als Siri daadwerkelijk een bericht gaat doorsturen? En zelfs dan, Transcriben, is dat per definitie een menselijke handeling? Want 'luisteren' is dat ook, maar in deze context natuurlijk niet.

Maar dat is in de sfeer van een AI omgeving met een bedrijf dat stelt alles en nog wat te automatiseren niet een uitleg dat het door mensen afgeluisterd wordt.

En tjah, die vraag die zo 'netjes is', als dat deze is:
https://macflypro.com/b_image/turn-siri-off.png
Leg mij dan even uit waar in die zin blijkt dat het een menselijke luisteraar gaat zijn aan de andere kant van de lijn.
Van veel vragen die je stelt zijn de antwoorden klip en klaar. Er is geen aparte voorkeur-knop per app dus het geldt voor alle Siri-commando’s. Het zou ook wel heel onlogisch zijn als elke app zijn eigen spraak-onderzoek ging houden. En ja, Siri is een geautomatiseerde dienst, anders zou Apple miljoenen werknemers aan moeten nemen om alle verzoeken af te handelen, en dan ook nog realtime…

En zo is er altijd wat te zeuren want als Apple een set voorwaarden schrijft waar alles en alles wordt uitgekauwd, klagen dezelfde mensen weer dat er geen doorkomen aan is.
"in een document waarvan iedereen begrijpt dat het gaat om een automatische verwerking door een AI"

Neigt naar mijn idee ook sterk naar eigen invulling. Ooit het configuratiescherm gezien?
ja inderdaad de gespoken commando's aan siri, maar niet de prive gesprekken die niet bedoled zijn voor siri, die blijkbaar ook kunnen worden doorgestuurd.
Alles wordt uiteraard gezien als gesproken commando zodra Siri 'geactiveerd' wordt.

Zou inderdaad een mooie optie zijn als Siri zelf kan bepalen of het al dan niet relevant is voor Siri.. :)
Dat is nu juist het probleem dat was in de voorwarde niet duidelijk dat het ook luistert en opneemt als er geen duidelijk commando wordt gegeven. en ja het zou inderdaad heel mooi zijn dat het alleen gaat opnemen wat relevant is voor siri en niet ook als het denkt dat het voor siri kan zijn.
Siri 'denkt' niet na of het relevant kan zijn voor Siri. Siri wordt, op welke manier dan ook, geactiveerd door de gebruiker zelf. Of dit nou is door je pols met een Apple Watch er omheen op te tillen, de zijknop ingedrukt te houden of door 'Hé Siri' te zeggen.

Het punt is echter dat bijvoorbeeld 'Hé Siri' onbedoeld geactiveerd kan worden. Je zegt dat je het mooi zou vinden als Siri dit voorkomt en weet wanneer het dient te luisteren en wanneer niet. Maar dat is volgens The Guardian precies waar Apple nu aan werkt.

"de Britse krant The Guardian onthulde dat Apple-medewerkers in sommige gevallen opgenomen gesprekken van Siri terugluisterden om de kwaliteit te verbeteren. Dat gebeurde bijvoorbeeld wanneer het wekwoord 'Hey Siri' onjuist was gebruikt of wanneer een audio-opname niet te verstaan was."

Ik snap je punt en ben het daarmee eens, maar ik vraag mij af hoe een AI dit zichzelf zou moeten aanleren.

Dit gaat echter veel te ver in op wanneer Siri wel of niet luistert, in plaats van dat Apple de commando's analyseert waar dit artikel over gaat en wat naar mijn weten duidelijk in het configuratiescherm getoond wordt.
Het punt is dat siri zichzelf activeert, ook waneer er geen he siri is gezegd, maar het apparaat dat wel meent gehoord te hebben en deze gesprekken vervolgens worden beluisterd door iemand om na te gaan waarom dit gebeurde en dat staat toch echt niet in de voorwaarde dat dat het geval kan zijn.
Oplossing is heel eenvoudig. Als siri het niet begrijpt wordt het hele fragment als 1 bestand doorgestuurd. Dat kan 5 seconden of 10 minuten zijn.

Probleem is bij langere bestanden dat daar gesprekken in kunnen zitten die te herleiden zijn naar een persoon. Dat is dus het probleem.

Oplossing zou heel eenvoudig zijn dat fragmenten standaard in stukken gehakt moeten worden van bij max 5 seconden en die fragmenten verdeeld worden over verschillende medewerkers. Op die manier zal een gesprek voor 99.99999999999% niet meer te herleiden zijn naar 1 persoon.
Helaas doet men dit niet en heeft de media genoeg voorbeelden laten zien van hele gesprekken van 1 minuut of langer waar ook persoonlijke gegevens verteld worden.
Dat de data verzameld wordt is inderdaad vanzelfsprekend. Maar Siri had ook kunnen werken door een automatisch systeem een antwoord te laten genereren.
Als Siri dan geen antwoord weet krijg je niks nuttigs terug, maar dan hoeft de data voor jouw persoonlijke vraag niet doorgestuurd te worden naar een persoon.

Dat is verbetering van de dienst waarvoor Apple en Google veel duidelijker hadden kunnen aangeven of je, naast het gebruik van ok Google of hey Siri, ook wilde dat jouw fragmenten gebruikt worden ter verbetering van de dienst.
Als ze toch maar 1% van de audiofragmenten in het echt beluisten hebben ze toch niet veel data nodig om deze dienst te verbeteren. Dus zou een opt-in voldoende kunnen zijn.
Het punt is dat ze derden inschakelen om die gegevens te analyseren en dat ze niet duidelijk zijn in de privacyvoorwaarden dat die gegevens bij derden terecht kunnen komen.
Als ze duidelijk waren geweest dat ze die gegevens door derden laten analyseren was het inderdaad heisa om niets.
Probleem is niet allen de 3den maar ook dat opgenomen fragmenten zo lang kunnen zijn dat 3den hele gesprekken kunnen horen waarin informatie zit die herleidbaar zijn tot personen.

Fragmenten opknippen in delen, laten analyseren door verschillende personen is dan de neige mogelijkheid om privacy te garanderen.
Het gaat sowieso om MAXIMAAL 1% en dat zijn stukken tekst waar Siri zelf niets mee kon.

Je dacht dat er opeens een volledig foutloos werkende assistent was die continu bijleert.

En je dacht dat AI gewoon zelflerend is en zelf wel kan zien waar hij fouten maakt als hij iets niet herkent?

Je denkt zeker ook dat er opeens zelfrijdende auto's zijn, zonder tussenstappen als Autopilot?

Oh nee, daar heb je praktijkervaring voor nodig. Dingen die in een laboratorium niet aan het licht komen, niet iedere situatie kun je bedenken en/of nabootsen in een lab.

Dit is overigens al 2 jaar bekend dat Apple dit doet: https://www.iculture.nl/n...vacy-steeds-belangrijker/
Siri werkt ook in de cloud
Toch worden er nog wel enkele onderdelen van Siri in de cloud opgeslagen. Belangrijk hierbij is dat gegevens waardoor de identiteit van de gebruiker te herleiden is, niet meegenomen worden. Zo worden stemcommando’s gebruikt als training, zodat Siri je beter kan verstaan. Deze data worden zonder persoonsgegevens verstuurd, waardoor Siri dus meer leert over de groep in zijn geheel dan over specifieke gebruikers.

Je stemcommando’s worden zo’n zes maanden bewaard, zodat Siri getraind kan worden...
Apple meldt zelf dit:
Siri en dicteer­functie
Hoe langer je Siri en de dicteer­functie gebruikt, hoe beter ze jou begrijpen en hoe beter ze werken. Om ze te helpen je uitspraak te herkennen en betere reacties te geven, worden bepaalde gegevens (zoals je naam, je contacten, de muziek die je beluistert en je zoekopdrachten) naar Apple servers verstuurd via versleutelde protocollen. Siri en de dicteer­functie koppelen deze informatie niet aan je Apple ID, maar herkennen je device via een willekeurige identificatie.
Apple heeft er niet specifiek bij gezet dat een mens mogelijk naar deze data kijkt, wat absoluut logisch is.
Ze hebben het alleen niet specifiek vermeld, nou nou, rock bottom qua privacy. Pfft.
Ben het op zich met je eens dat dit moet kunnen en dat alleen niet expliciet is genaakt dat mensen ernaar luisteren maar (en dat is best een grote maar) je stem is ook een biometrisch persoonsgegeven dus dat ze spraakcommando’s zonder persoonsgegevens doorsturen is onmogelijk. Dat is gewoon niet waar dus dat moeten ze ook niet stellen.

Hadden ze het gewoon duidelijker neergezet of als opt-in gevraagd via het riedeltje dat je doorloopt bij een nieuw iOS device dan was er echt niets aan de hand geweest.
Het feit dat het een nieuwsitem is, en dat Apple nu stopt met het doorsturen vanwege de reacties die ze krijgen, geeft wel aan dat de gemiddelde consument zich dus niet bewust was hoe dit precies werkte.

In dat opzicht denken heel veel mensen er dus gewoon niet bij na, totdat het opeens bovenaan hun favoriete nieuwssite geplaatst wordt.
Het zou een taak voor de media zijn (het juist informeren van de mensen) als ze zouden benadrukken dat mensen daar in de voorwaarden zelf toestemming voor geven. Dat het expliciet in de voorwaarden staat vermeld zodra je het aan zet en gebruikt.

maar dat is helaas niet smeuïg genoeg voor de media. Die willen alleen maar sensatie.
"benadrukken dat mensen daar in de voorwaarden zelf toestemming voor geven"

Mee eens, in het originele artikel wordt daar niet echt melding van gemaakt. Terwijl je dat van een techsite toch wel mag verwachten dat ze het verschil aangeven of een consument wel of niet op de hoogte kan zijn, of ingestemd heeft met een onderwerp uit een nieuwsitem.
https://tweakers.net/nieu...-gesprekken-via-siri.html
"Je denkt zeker ook dat er opeens zelfrijdende auto's zijn, zonder tussenstappen als Autopilot?"

Jij denkt dat ze half-af zelfrijdende auto's laten rondrijden en de inzittenden als testpersoon gebruiken?

Want dat is wat Apple hier doet.
En wat dacht je dat Autopilot is dan? Een half-af zelfrijdende auto.

Maar Tesla's versturen natuurlijk geen data om de Autopilot te verbeteren.
Oh, wacht, dat doen ze wel:
In fact, all Tesla vehicles – whether or not they are Autopilot enabled – send data directly to the cloud.
https://bernardmarr.com/default.asp?contentID=1251

Dus ter vergelijking: zelfs als je Siri helemaal niet aan hebt staan, verstuurt die half-af zelfrijdende auto al data. Maar daar is het geen probleem. Ook daar zitten mensen naar de data te kijken, ook daar is de data niet anoniem en weet Tesla precies waar de auto was.
Daarnaast kan het afgeluisterde bericht herleidbaar naar personen zijn, dus helemaal anoniem is het ook niet.
Zie hierboven. De stem kan veranderd worden door software, maar als je persoonlijke gegevens roept naar Siri, dan is dat natuurlijk niet anoniem. Maar wie heeft dan gezegd dat de inhoud van de gesprekken anoniem is? Beetje naïef.
Ik zie een patroon van cognitieve dissonantie als het om de streken van Apple gaat.
Ik zie een patroon om van een mug een olifant te maken. Alles wordt opgeblazen en alles moet lekker zwart-wit worden gemaakt. En hoge bomen vangen veel wind.

Ik vind het allemaal erg overtrokken. Ze geven duidelijk aan als je Siri start dat er data naar Apple wordt gestuurd, ze geven de volgende opties:
- Luisteren naar Hé, Siri
- Druk op de zijknop voor Siri
- Sta Siri toe bij vergrendeling

Er zijn dus al prima mogelijkheden om dit aan te passen dusdanig dat hij:
- niet meeluistert als je telefoon vergrendeld is,
- alleen meeluistert als hij (denkt dat) hij) geroepen wordt,
- alleen door een druk op de knop meeluistert
- helemaal niet luistert.

En dat zit echt niet verborgen.

Ja, ik ben het er mee eens dat ze het duidelijker hadden moeten maken dat er mensen mee aan het werk gaan, maar het Apple bashen wat er nu weer gebeurd door velen is mijn inziens gewoon zwaar overdreven. Wat een vuile streken heeft Apple ons nu weer geleverd, vreselijk.
Apple heeft er niet specifiek bij gezet dat een mens mogelijk naar deze data kijkt, wat absoluut logisch is.
Ze hebben het alleen niet specifiek vermeld, nou nou, rock bottom qua privacy. Pfft.
Nou.... Ik kan me best voorstellen dat mensen het nogal intiem vinden wanneer een mens meeluistert tov een systeem dat tekst analyseert.

Zeker iets wat je in je voorwaarden erbij mag vermelden wat mij betreft. En hoogstwaarschijnlijk iets wat bewust is weggelaten.

Dat mensen nu overvallen en heftig reageren is gewoon omdat:
a) het gros die voorwaarden helemaa niet leest
b) men er nu achterkomt wat die matte juridische tekst daadwerkelijk betekent
c) dit van Apple niet wordt omdat Apple per definitie het beste voor heeft met ieders privacy? (dat laatste snap ik ook niet helemaal)

Maar..... Ieder is zelf verantwoordelijk je hier goed in te verdiepen en als het je niet bevalt geen Apple nemen. Of uberhuapt geen assistant.
Ja maar ze zeggen er niet bij dat er ook opgenomen kan worden als je geen commando naar siri geeft en dat is nu juist het hele probleem, niet dat het commando zelf wordt opegenomen.
Misschien is het inderdaad zo logisch dat de opgeslagen geluidsfragmenten door mensen worden beluisterd dat dat niet apart vermeld hoeft te worden. Maar ik vraag me af voor hoeveel van de gebruikers dat inderdaad zo logisch is dat ze zich daar ook voor het gebruik van Siri daadwerkelijk van bewust waren.
Het probleem zit er in dat Apple derden inschakelt om die gegevens te beluisteren en te analyseren, zonder dat ze dat duidelijk maken.
De geluidsfragmenten zullen best anoniem worden opgeslagen, maar sommige fragmenten bevatten zelf al gegevens waarmee de gebruiker of een locatie is te identificeren..
apple google amazon vertellen er ook niet bij dat hele fragmenten door 1 mens beluisterd kunnen worden en dat er dus ook fouten zijn waarbij het systeem opneemt terwijl dat niet de bedoeling is.

Men moet aan de 3den die de analyse doen uitsluitend fragmenten van max 5-10 sec aanleveren waarbij een gesprek van zeg 1 minuut dus uit 6 tot 12 delen bestaat die verdeeld worden over verschillende 3den. Pas dan garandeer je dat 1 persoon niet een heel gesprek kan horen en informatie kan krijgen die herleidbaar is tot een persoon.
Het merendeel van de stukjes was al maximaal 10 seconden en bijna geen stukjes zijn langer dan 40 seconden.

Als ik een opdracht aan Siri geef om ergens naar te zoeken en Siri begrijpt niet wat ik bedoel en komt met het verkeerde, dan ben ik inclusief het eerste commando, wachten op Siri, nogmaals aangeven wat ik wil en de reactie van Siri daarop echt dik over die 10 seconden heen.

Je hebt er als data voor het verbeteren dan niets meer aan om dit in enkele stukjes te knippen. Je wilt juist zien waarom Siri blijkbaar iets geleverd heeft waar de klant niet om heeft gevraagd en waarom het dan blijkbaar wel de 2e keer is gelukt. Dan kun je dat verbeteren.

Als je het 1e commando loskoppelt van het 2e, dan ben je veel belangrijke info kwijt.
Wat ik in België op tv gezien heb betreft google waren dat gewoon hele gesprekken langer dan 10 of 40 seconden, soms minuten.
Wat het allemaal nog erger maakt is dat Apple externe bedrijven inhuurt om dit soort zaken te doen. Jouw gegevens worden dus zonder dat je het weet gedeeld met een andere partij, dat kan niet zomaar.
Dan heb je denk geen idee hoe bedrijven werken. Dat is best normale gang van zaken, om externe hulp in te schakelen voor een dienst die je zelf (nog) niet goed kan vervullen met eigen medewerkers.

In andere berichten kan je lezen dat ze gewoon contracten e.d. moeten ondertekenen, dus in die zin is het niet heel veel anders dan een "normale" Apple medewerker
Siri responses are analyzed in secure facilities and all reviewers are under the obligation to adhere to Apple’s strict confidentiality requirements.
https://www.theverge.com/...ecordings-privacy-opt-out
Het enige kwalijke aan deze zaak is dat dit blijkbaar niet goed in hun "terms and conditions" staat dat dit luisteren door "echte mensen" dus gebeurt en dat er dus geen opt-out of opt-in aanwezig is.

[Reactie gewijzigd door JorzoR op 2 augustus 2019 08:16]

Heel mooi marketing zinnetje natuurlijk maar war versta je onder een secure facility?

Worden medewerkers naar een soort beveiligde vestiging geleid en luisteren ze naakt naar alle responses ofzo zodat ze zeker weten niks mee naar huis kunnen nemen? Net als in de film van die vrouwen die naakt coke versnijden :+

Hele mooie zin dus maar het zegt verder weinig.

Aan de andere kant verbaast het me dat iedereen hier zo verbaast over is, beetje als de persoon die 5x vreemd gaat en dan verbaast zijn dat het de 6e keer weer gebeurd.
Worden medewerkers naar een soort beveiligde vestiging geleid en luisteren ze naakt naar alle responses ofzo zodat ze zeker weten niks mee naar huis kunnen nemen? Net als in de film van die vrouwen die naakt coke versnijden :+
Dat is natuurlijk altijd de vraag, ook als Apple dit luisteren alleen met eigen interne medewerkers deed :9

[Reactie gewijzigd door JorzoR op 2 augustus 2019 09:44]

Ik werk dagelijks met medische gegevens en ik beschouw mijn werkplek ook als een "secure facility". Ik zit niet in een bunker nee, maar als bedrijf probeer je er alles aan te doen om de data veilig te ontvangen en te verwerken.Tevens zorg je er voor dat er geen toegang is tot deze gegevens door derden.

Dus, ik neem aan dat ze dat bedoelen met een "secure facility".
[...]

Dan heb je denk geen idee hoe bedrijven werken. Dat is best normale gang van zaken, om externe hulp in te schakelen voor een dienst die je zelf (nog) niet goed kan vervullen met eigen medewerkers.
Dat is inderdaad normaal, maar het blijft een derde partij die ingeschakeld wordt. Dat dat gebeurt staat niet duidelijk in de privacyverklaring.
Een zin al: "De door u gegeven opdrachten kunnen voor kwaliteitsdoeleinden door derden worden beluisterd en verwerkt." zou het hele probleem in de kiem hebben gesmoord. Maar dan zou iedereen die de verklaring zou lezen (en de consumentenorganisaties die dergelijke zaken in de gaten houden) misschien wel iets beter nadenken voordat ze de dienst zouden gebruiken.
Dat is inderdaad normaal, maar het blijft een derde partij die ingeschakeld wordt. Dat dat gebeurt staat niet duidelijk in de privacyverklaring.
Je hoeft ook niet iedere context letterlijk te beschrijven in zo'n document. In de voorwaarden waarmee je akkoord staat dat het naar Apple gestuurd kan worden voor analyse. En dat is ook het geval. Beluisteren valt onder analyse. En volgens Apple gebeurt dat intern bij Apple, met externe medewerkers. Al waren het chimpansees doet dat het verder niet meer toe.

Wat wél van Apple verwacht mag worden is een soort opt-out/opt-in van analyse van jouw stukjes, mede omdat Apple, naar eigen zeggen, privacy zo hoog heeft zitten.

[Reactie gewijzigd door JorzoR op 2 augustus 2019 10:59]

Die externe medewerkers zijn nu juist wel het probleem. Hun eerste loyaliteit ligt bij hun werkgever, en dat is niet Apple. Apple kan wel eisen stellen aan het bedrijf dat ze inhuren om de medewerkers te leveren, maar ze hebben geen directe invloed op de werving en selectie.
Wanneer werkzaamheden uitbesteedt worden, gaat het óf om tijdelijke specialistische werkzaamheden waarvoor het niet lonend is om een eigen afdeling op te zetten óf om relatief simpele werkzaamheden waarvoor het goedkoper is om aanbieders tegen elkaar op te laten bieden dan om om een eigen afdeling op te zetten. Siri is niet een tijdelijk iets en het optimaliseren van de achterliggende AI is niet een kwestie van een paar maanden, maar van vele jaren, als er al ooit een einde aan zal komen. Het gaat er dus om om de werkzaamheden zo goedkoop mogelijk uit te besteden.
Wat ze dus geleverd krijgen is een stel onderbetaalde uitzendkrachten die ongezien een geheimhoudingsverklaring hebben getekend, die verwachten het dodelijk saaie werk niet langer dan een paar weken vol te houden en dus totaal geen remmingen zullen voelen om sappige verhalen te delen.
Hun eerste loyaliteit ligt bij hun werkgever, en dat is niet Apple. Apple kan wel eisen stellen aan het bedrijf dat ze inhuren om de medewerkers te leveren, maar ze hebben geen directe invloed op de werving en selectie.
Op de werving en selectie van individuele externen kan je ook gewoon invloed hebben als bedrijf. Over alles kunnen bedrijven onderling afspraken maken. In de context van dit nieuwsbericht kan ik mij voorstellen dat er hele strenge eisen zijn.

Maargoed, nu speculeren wij beide. Wil alleen aangeven dat alles niet zo zwart-wit hoeft te zijn als jij doet lijken.
Wat ze dus geleverd krijgen is een stel onderbetaalde uitzendkrachten die ongezien een geheimhoudingsverklaring hebben getekend, die verwachten het dodelijk saaie werk niet langer dan een paar weken vol te houden en dus totaal geen remmingen zullen voelen om sappige verhalen te delen.
Dat is een aanname, dat hoeft niet zo te zijn. En hangt weer totaal af van de individu. Zijn zat mensen die hun werk gewoon serieus nemen :Y)

[Reactie gewijzigd door JorzoR op 2 augustus 2019 14:28]

Die terms maakt geen zak uit. De privacy wetgeving zegt dat je geen gesprekken zonder toestemming mag opnemen.

Er zijn voorbeelden genoeg ondertussen dat deze bedrijven hele gesprekken opnemen die niet opgenomen zouden mogen worden. Dei gesprekken gaan dan naar 3den en het hele gesprek kan door 1 persoon geanalyseerd worden. Daar kan dus ook gewoon persoonlijke informatie in zitten.

In de voorwaarden staat nergens dat er per ongeluk gesprekken worden opgenomen en dat die dan in zijn geheel ter analyse naar een 3de partij gaan.

Als deze bedrijven echt zuiver willen zijn dan zouden ze opgenomen gesprekken standaard in stukken van 5-10 seconden verdelen en die delen dan door verschillende personen laten analyseren. Op die manier kan 1 persoon nooit een heel gesprek horen waarbij die informatie herleidbaar is.
Die terms maakt geen zak uit. De privacy wetgeving zegt dat je geen gesprekken zonder toestemming mag opnemen.
Bij het aanzetten van Siri ga je akkoord met de voorwaarden. In die voorwaarden staat dat opnames naar Apple gestuurd kunnen worden voor analyse. Dan geef je toch akkoord?
Je gaat akkoord in die zin dat het een commando betreft en wat betrekking heeft op dat commando.

Als het systeem een fout maakt en jou woorden als commando begrijpt maar ze dat niet zijn, kunnen dus hele gesprekken worden opgenomen.

Denk niet dat jij toestemming hebt gegeven voor het opnemen van gesprekken die niet aan siri gericht zijn.

Daarnaast worden hele gesprekken opgenomen die door een 3de worden geanalyseerd. Die 3de kan bij een verkeerd opgenomen gesprek dan de hele inhoud horen hetgeen tot jou herleidbaar kan zijn.

Apple, google amazon doen er niets aan om dat onmogelijk te maken, zoals bijv standaard maar 5 seconden fragmenten weergeven ter analyse.
Je gaat akkoord in die zin dat het een commando betreft en wat betrekking heeft op dat commando.
Waar staat dat dan?
Jij gebruikt siri om commando's te geven, die commando's kunnen verwerkt worden, dat is de functie van het apparaat en daarmee ga je akkoord.

De functie is niet dat het altijd alles op mag nemen, maar misschien kun jij mij dan de voorwaarden geven waarmee je akkoord gaat dat ze ten alle tijde alles mogen opnemen en dat ook nog mogen verwerken door 3den.
Dat doen ze niet, dus zal ook niet in de voorwaarden staan.
Dit is eigenlijk een dieptepunt voor Apple. Ze zeggen zich jarenlang in te zetten voor de privacy van hun gebruikers, maar als ze zelf iets nodig hebben dan gaat het volledig de verkeerde kant op.
Wst ik er tot zover van heb begrepenen is dat alle opnames geanonimiseerd zijn. Het is dus niet zo dat ze nu opeen weten dat Jantje die 3 hoog achter woont in Luttjebroek ooit eens aan Siri heeft gevraagd hoe je je veters moet strikken. Het enig wat ze nu bij Apple weten is dat er iemand is geweest die in het nederlands heeft gevraagd hoe je je veters moet strikken.

Het is ook wel begrijpelijk dat ze dit moeten doen, ze moeten hun Machine Learning modellen laten leeren en dat kan alleeen maar door ze duidelijk te maken wat bepaalde zinnen betekenen die Siri in eerst instantie niet herkendee.

Als iemand die veel met Machine Learning werkt begrijp ik het maar ik begrijp ook dat dit voor het merendeel van de mensen niet duidelijk is. Google, Amazon (ik ga er vanuit dat dit ook gebeurd voor Alexa) en Apple hadden hier direct al veel helderder over moeten zijn.
These recordings are accompanied by user data showing location, contact details, and app data.
bron
Het enig wat ze nu bij Apple weten is dat er iemand is geweest die in het nederlands heeft gevraagd hoe je je veters moet strikken.
Ik denk ook niet dat dergelijke zinnen de kern van het probleem vormen. Maar als de (ingehuurde) medewerker van Apple de stem van Boris Johnson of Mark Rutte herkent, of een gesprek beluistert waarin illegale plannen worden beraamd dan is dat wel een probleem zou ik zeggen.

In het eerste geval zijn de gegevens wel herleidbaar, in het tweede geval leg je een gewetensbezwaar bij de medewerker. In het bijzonder als de medewerker bijvoorbeeld hoort dat misdrijf X plaatsvindt op lokatie Y op tijdstip Z. Maar misschien hebben de bedrijven dit wel in een procedure beschreven.
Het is ook wel begrijpelijk dat ze dit moeten doen, ze moeten hun Machine Learning modellen laten leeren en dat kan alleeen maar door ze duidelijk te maken wat bepaalde zinnen betekenen die Siri in eerst instantie niet herkendee.
Of dat “alleen” kan door de betekenis te duiden weet ik niet. De discussie gaat er volgens mij vooral over of er een expliciete “opt-in” was voor nadere analyse van spraakfragmenten door mensen. Dat is dus iets dan een lange tekst waarin een bedrijf tussen allerlei andere tekst meldt “de gegevens” te “analyseren”. Want wat betekent dat, analyseren?
Als iemand die veel met Machine Learning werkt begrijp ik het maar ik begrijp ook dat dit voor het merendeel van de mensen niet duidelijk is. Google, Amazon (ik ga er vanuit dat dit ook gebeurd voor Alexa) en Apple hadden hier direct al veel helderder over moeten zijn.
Inderdaad, en dat is wat de GDPR/AVG ook stelt. Het moet duidelijk zijn voor de doelgroep hoe je de data verwerkt, niet alleen voor de software engineers die het systeem hebben ontworpen of de juristen die de teksten schreven.
Jouw gegevens worden dus zonder dat je het weet gedeeld met een andere partij, dat kan niet zomaar.
Naar mijn weten kan dat wel 'zomaar', mits de gegevens enkel verstrekt worden voor dat doel en men een verwerkersovereenkomst heeft getekend waarin veiligheid e.d. gewaarborgd wordt.
Volgens mij heb je dan wel de verplichting om de consument in te lichten met welke bedrijven je persoonlijke data deelt. Iets wat in dit geval waarschijnlijk niet gebeurt is.
Probleem is dat er gesprekken worden opgenomen, dat zijn gesprekken die niet opgenomen zouden mogen worden omdat ze geen onderdeel van het commando zijn dat je gaf.
Het is dus een fout in het systeem.

Jij geeft toestemming maar niet om gesprekken op te nemen die geen betrekking op de functie van het apparaat hebben.
Helemaal met je eens. Er is al wel vaker gebleken dat Apple's privacy niet overal geldt. En het grootste pijnpunt vind ik eigenlijk wel dat ze er niet helder over zijn.

Ik vertrouwde Apple altijd nog meer dan Google. Omdat die laatste graag meer van je weet voor advertenties. Maar ik begin me steeds meer af te vragen welke dingen bij Apple dan onder privacy vallen. Dat je hond lokaal op je telefoon op een foto gedetecteerd wordt lijkt me niet voldoende.
Denk dat je geen enkel tech bedrijf op dit gebied kan en mag vertrouwen. Snap ook niet dat mensen zo naïef zijn om een microfoon in huis te nemen waar een 3de gesprekken van kan opnemen.
Laat het een les zijn. Bedrijven roepen dat ze niet zullen afluisteren en dat ze integer om zullen gaan met de data die ze binnenkrijgen. Experts en een groep consumenten trekken dat in twijfel, en dat blijkt (hoe verrassend) terecht te zijn.

Dat bedrijven hun (of eigenlijk jouw) data outsourcen voor analyse is ook niks nieuws, denk bijvoorbeeld aan Cambridge Analytica met het Facebook schandaal.

Zelfs een opt-in zou schandalig zijn, want wat Apple eigenlijk zegt is dat ze niet zullen ophouden met deze praktijken en blijven afluisteren, tenzij je een vinkje uit zet. En dan is het nog de vraag of ze zich daar echt aan gaan houden, want blijkbaar kunnen we ze niet vertrouwen wanneer ze claimen dat ze zich inzetten voor privacy.

Deze bedrijven verdienen zo veel dat ze straks een boete krijgen van een miljard dollar voor het schenden van privacy en het laten lekken van gevoelige data, ze vervolgens zullen zeggen "Haha, sorry" en dan gaan ze doodleuk verder.
Dit is eigenlijk een dieptepunt voor Apple.
“By using Siri or Dictation, you agree and consent to Apple’s and its subsidiaries’ and agents’ transmission, collection, maintenance, processing, and use of this information, including your voice input and User Data, to provide and improve Siri, Dictation, and dictation functionality in other Apple products and services.”
Alsof dit nog uitmaakt overal zijn trackers aanwezig.
Je auto heeft een simkaart voor online diensten/gps voor navigatie
Je telefoon heeft een audio en video sensoren die wij niet beheren maar alleen de software ontwikkelaar.
En ga zo maar door als je echt de baas wilt zijn over je privacy zou je niet meer kunnen leven.
Wat ik nog veel erger vind is dat mensen een telefoon van Apple kopen die helemaal dichtgetimmerd is en qua prijs ook nog eens 4x over de kop gaat.

Doet me een beetje denken aan de plaatselijke Chinees waar al het eten door een luikje gaat want niemand mag er in de keuken kijken.
Nee hoor. Apple doet niets dat niet duidelijk is omschreven (net als Google en Amazon trouwens). Met daarbij nog als toevoeging dat het bij Apple een opt-in was waar het bij Google en Amazon een opt-out was. Maar bij alle diensten was het duidelijk aangegeven dat data opgenomen werd en voor analyse gebruikt kon worden en bij Google en Apple kon je dit gewoon uitzetten (bij Amazon wellicht ook, maar dat weet ik niet!).
"Google heeft inmiddels ook een opt-out doorgevoerd in de instellingen waarmee gebruikers het verzamelen van de data kunnen stilzetten."

Moet dat onder de AVG sowieso geen opt in zijn?
Dat is het ook, voordat je de functie activeert moet je akkoord gaan met de voorwaarden. Maar het was een totaalpakket, alles of niets. Dat gaan ze nu blijkbaar aanpassen.
Dat is het ook, voordat je de functie activeert moet je akkoord gaan met de voorwaarden. Maar het was een totaalpakket, alles of niets. Dat gaan ze nu blijkbaar aanpassen.
En dat 'alles of niets' mag volgens de AVG niet meer.
Dit soort toestemmingen vallen onder 'is het noodzakelijk' en 'het is tijdelijk', de gebruiker moet het ten alle tijde kunnen stopzetten.
( je zou het zelfs kunnen opvoeren 'onder druk' geplaatste toestemming, want je WILT het device gebruiken )
Je kan het stopzetten en je kan de device ook prima gebruiken zonder de feature... AVG technisch is dit prima compliant. Daar zit het probleem in ieder geval niet. :) Ik denk dat ze helemaal niets fout deden en de ophef ook een beetje apart is, voor beide partijen. Maar het is wel erg fijn dat beiden komen met een optie om het uit te zetten, meer privacy controle is altijd een pre. :)
Die AVG is sowieso helemaal doorgeschoten, ik moest laatst een papier ondertekenen dat ik akkoord ging met dat ik een diploma/certificaat kreeg. :?
Uhm dat ligt niet aan de avg, dat ligt aan je school/bedrijf dat de avg niet helemaal snapt :Y)
Nee, komt omdat jou deelname opgeslagen wordt omdat zonder deelname ik mijn werk niet mag uitvoeren.
Lijkt me dat het diploma geval valt onder uitvoering overeenkomst, of gerechtvaardigd belang, of zelfs wettelijke verplichtingen? Ik zie niet in waarom jij hiervoor een handtekening zou moeten zetten.

[Reactie gewijzigd door vickypollard op 2 augustus 2019 08:13]

De school snapt het niet, of erger. De school doet handelingen met die data, wat niet de bedoeling is.
Of zijn opmerking is niet compleet ( er zou zomaar een reden gestaan kunnen hebben voor dat akkoord ) of hij zuigt het uit zijn duim.
misschien omdat je ermee akkoord moet gaan dat het feit dat je een diploma behaalt hebt, wordt opgeslagen in een databank
Maar dat bedoel ik: ik neem aan dat dat een verplichting is voor bijvoorbeeld de geldigheid van het diploma. Dan hoeft de onderwijsinstelling daarvoor geen toestemming te vragen.
Het gaat vermoedelijk niet zozeer om het krijgen van het diploma, maar om het opslaan van jouw gegevens voor langere termijn zodat mocht jij het diploma kwijt raken, jij na 20 jaar aan kunt kloppen bij de instelling om een kopie van je diploma te verkrijgen.

Hoezeer echt verplicht ook voor zoiets studenten te laten tekenen, weet ik niet.
Ik vind het fantastisch dat mijn toestemming daarvoor nodig is. In jouw situatie mag het dan vanzelfsprekend zijn, als ik ergens een cursus doe hoeft die instelling niet tot in lengte van dagen mijn gegevens te bewaren, zodat een gerenommeerde knutselclub over tien jaar kan aantonen dat ik niet ongeschoold potten loop te bakken.
Ligt dat niet iets genuanceerder dan hoe jij het stelt, dat bv je akkoord gaat dat ze je gegevens opslaan zodat de authenticiteit van je diploma later nog bevestigd kan worden?
Maar dat is een gerechtvaardigd belang waarvoor je geen toestemming hoeft te geven.
Je zou zelfs kunnen zeggen dat je door je aanmelding voor de opleiding ermee akkoord ging dat je er t.z.t. een diploma voor zou krijgen. Je zou nog kunnen stellen dat je je op dat moment er nog niet van bewust was dat een diploma het papier waarop het gedrukt is niet waard is, zonder dat het feit dat je het diploma behaald hebt geverifieerd kan worden.

Er gebeuren veel overbodige dingen doordat iedereen in een stuip schiet over de AVG. Veel gegevensverwerking is nodig voor de normale werking van een organisatie of vanwege wettelijke verplichtingen. In die gevallen hoeft alleen maar vastgelegd te worden welke gegevens worden verwerkt en met welk doel. Toestemming is overbodig.
Het gevaar met toestemming is dat ruimer kan zijn dan de hoogstnoodzakelijke gegevensverwerking. Noodzakelijk is bv. dat je diploma wordt opgenomen in het register van DUO of van de onderwijsinstelling zelf, zodat bv. werkgevers kunnen verifiëren dat je dat diploma ook daadwerkelijk gehaald hebt. De toestemming die gevraagd wordt kan echter zo ruim zijn opgesteld, dat de onderwijsinstelling bv je diploma en cijferlijst op Facebook zou kunnen publiceren.
Was dat papier niet je diploma?
Dat is toch goed? Het maakt je bewust van wat er allemaal aan data wordt opgeslagen. En dit is tevens een bevestiging dat je je diploma hebt ontvangen.
"Opt-in" voor een paar rewards en het zou uiteindelijk even goed gedaan kunnen worden :)
Geef mensen een tientje en je mag ze helemaal leegtrekken
Het is al opt-in, je kiest zelf om siri te gebruiken, en daar zitten voorwaarden aan verbonden.
Opt-in en het is gratis, opt-out en je moet betalen. Rara wat de massa dan doet.
Wat mij vooral verbaasde was hoeveel opnames werden beluisterd. Ik zag 1% langs komen bij een eerder nieuws bericht, dat vind ik gigantisch veel. Ik had meer 0.01% ofzo verwacht.

En deze titel verbaasde mij, ik ging ervanuit dat je voor kwaliteitsverbeteringen toch niet ontkomt aan op een manier handmatig controleren hoe Siri het doet. Blijkbaar had ik gelijk, want imo staat in de rest toch wat anders dan wat de titel doet vermoeden: Ze pauzeren het, en gaan straks met een opt-in/out ermee door weer.
Volgens Apple gaat om 'minder dan een procent' van alles opnames.
Dus dat kan nog steeds 0,01% zijn.
De medewerker zegt dat er zo'n twintig Nederlanders bij het bedrijf werkten die dagelijks per persoon zo'n 400 fragmenten per dag te horen kregen.
Dat zijn dus 8000 fragmenten per dag. Gaan we er even vanuit dat deze medewerkers 5 dagen in de week werken, 46 weken per jaar, dan gaat het om bijna 1,7 miljoen afgeluisterde gesprekken per jaar. Als dat inderdaad 1% is hebben we het over 170 miljoen ingesproken opdrachten per jaar. Klinkt best realistisch op 17 miljoen Nederlands waarvan maar een klein deel dagelijks Siri gebruikt, toch?
Klopt inderdaad, maar als een bedrijf zegt minder dan 1 procent, dan ga ik ervan uit dat het heel dicht tegen die 1% aan ligt. Gezien in dit geval minder = beter is, zouden ze echt wel 0.01% hebben gezegd als dat het geval was geweest.

En jouw berekening klinkt inderdaad realistisch, dus dan komen we wel zeker in de buurt van die 1%. En dat vind ik dus erg veel. Van zoiets zou ik verwachten dat de kans klein is dat specifiek jouw bericht bij hun te horen zal zijn. Maar als je het een beetje regelmatig gebruikt is het meer een zekerheid dat met enige regelmaat jouw commando's door mensen beluisterd wordt.
Ik ben gewoon even benieuwd naar die 1%. Een rekensommetje:

Ze zeggen dat 20 medewerkers elke dag zo'n 400 berichten doornemen. Dat is op basis van 20 volle fte's jaarlijks ongeveer 2,08 mln berichten.

Oude data leert mij dat er ongeveer 11 miljoen smartphone gebruikers zijn, waarvan 25% iPhone gebruikers (geen idee wat de huidige cijfers zijn). Als het inderdaad maximaal 1% van alle berichten is, dan maken al deze gebruikers dus samen minimaal 208 miljoen siri commando's. Gemiddeld 75 berichten per gebruiker per jaar, ofwel 1,5 bericht per week per gebruiker.

[Reactie gewijzigd door ZatarraNL op 2 augustus 2019 13:09]

Gemiddeld 75 berichten per gebruiker per jaar, ofwel 1,5 bericht per dag per gebruiker.
Gemiddeld 75 berichten per gebruiker per jaar, ofwel 1,5 bericht per week per gebruiker.
Correct. Pas ik aan.
Ik vindt dit wel een duivels dilemma. Privacy vind ik erg belangrijk, maar de snelheid waarmee voice recognition zich kan ontwikkelen wordt sterk belemmerd als ze alleen nog met “voice actors” kunnen werken die meewerken aan een project zoals wat ze hebben gedraaid om FaceID te ontwikkelen. Het is simpelweg veel complexer anders hadden ze überhaupt die route wel gekozen.

[Reactie gewijzigd door nms2003 op 2 augustus 2019 08:55]

De middenweg is om duidelijk te zijn over wat je met data doet en je de keuze krijgt of je wel of niet mee wilt doen. Dat levert potentieel minder data op maar daar moeten ze dan maar wat op vinden.
Dat het makkelijker is om niet te doen, wil niet zeggen dat het legaal is.
Als men een grote corpus aan gesproken text nodig heeft koopt met maar een licentie bij clubs die dat soort zaken produceren, of koopt met die fragmentjes maar van de klanten waar siri zoveel moeite mee heeft.

Is het echt zo lastig om een daadwerkelijke keuze te geven?
"Siri kan u vaak slecht verstaan, om dit te verhelpen willen wij uw gesproken vragen graag afluisteren om onze software te verbeteren voor mensen met een gelijkende stem, u ontvangt hier een kleine vergoeding voor in de form van Store tegoed, akkoord?"
zou moeilijk is het niet. Je deeld standaard ieder opgenomen gesprek op in fragmenten van 5-10 seconden, waarbij je die stukken verdeeld over verschillende personen.

Ja het kost dan meer tijd voor een menselijke analyse maar privacy heb je veel beter gewaarborgd.
Eerst zien dan geloven, geld voor mij ook voor Google en de rest. En over een x periode horen we dat bedrijf x weer meegeluisterd heb met je (privé)gesprekken 😳.
Als je zegt dit soort diensten te vertrouwen, vertel zo’n assistant eens je naam, bankrekeningnummer + pincode… Zelfde geldt voor cloudservices: maak eens een notitie aan met diezelfde gegevens..

Ik denk dat niemand dat aandurft :)
Dus dan zie je hoezeer mensen ECHT vertrouwen hebben in deze diensten..

[Reactie gewijzigd door Furious5 op 2 augustus 2019 08:34]

In een verklaring aan verschillende techwebsites zoals The Verge en TechCrunch zegt het bedrijf dat het 'een goede Siri-ervaring wil bieden en tegelijkertijd de privacy van de gebruiker wil beschermen'. "We gaan dit grondig bestuderen en pauzeren daarom het beoordelen van Siri-opnames wereldwijd."
Het marketing bullshit niveau is behoorlijk hoog. Al hadden ze de privacy van gebruikers willen beschermen dan hadden ze eerst een grondige studie gedaan en een expliciete opt-in aangeboden.

[Reactie gewijzigd door The Zep Man op 2 augustus 2019 08:46]

Dat iedereen hier zo verbaasd over is. Samsung doet dit al heel lang met hun SmartTV's, ik ken iemand die jaren geleden dit werk deed voor Samsung en zij hoorde van alles voorbij komen.

Samsung verwijst naar de privacy policy van Nuance

Data Processed Within Our Products
We use the personal data that is processed within our Products, such as voice data within voice recognition products, medical data within medical data products, personal data processed in communications products, and any personal data contained within product usage data we collect, to deliver our Products under applicable terms and for our legitimate interests in tuning, maintaining, enhancing, and developing Products. We never use this data, referred to as “Product Personal Data,” for marketing purposes and we never sell or transfer your data to third parties for the third party’s marketing purposes.
En daarom zet ik siri uit, en daarom koop ik geen slimme speakers....ik heb niks te verbergen maar het feit dat jan en alleman maar mee kan luisteren vind ik al een enge gedachte....t is al kut genoeg als je denkt een nieuwe fiets te gaat kopen, 1x een appje stuurt naar een maat en je overal advertenties krijgt voor fietsen. (om maar is een voorbeeld te noemen).

Op dit item kan niet meer gereageerd worden.


Apple iPhone 11 Nintendo Switch Lite LG OLED C9 Google Pixel 4 FIFA 20 Samsung Galaxy S10 Sony PlayStation 5 Disney

'14 '15 '16 '17 2018

Tweakers vormt samen met Tweakers Elect, Hardware Info, Autotrack, Nationale Vacaturebank, Intermediair en Independer de Persgroep Online Services B.V.
Alle rechten voorbehouden © 1998 - 2019 Hosting door True