Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Microsoft-medewerkers luisteren mee met Skype-vertalingen en Cortana-gesprekken

Microsoft-medewerkers luisteren soms mee met sommige Skype-gesprekken als daarin gebruik wordt gemaakt van de ingebouwde vertaalfunctie. Ook luisteren zij mee naar Cortana-opnames. Microsoft zegt in de privacyvoorwaarden niet dat die gegevens door menselijke medewerkers kunnen worden beluisterd.

Dat blijkt uit documenten die Motherboard heeft weten te bemachtigen. Naast documenten wist de site ook de hand te leggen op screenshots en audio-opnames waaruit blijkt dat Microsoft-medewerkers meeluisteren met Skype-gesprekken. Aannemers van Microsoft luisteren daarnaast naar stemcommando's die gebruikers aan slimme assistent Cortana geven.

Microsoft gebruikt kunstmatige intelligentie om gesprekken automatisch te vertalen, en om commando's via Cortana te interpreteren. Net als bij andere bedrijven zoals Google, Apple en Amazon moet die informatie in sommige gevallen nader bekeken worden, bijvoorbeeld wanneer een vertaling misgaat of wanneer het verkeerde wekwoord voor een slimme assistent wordt ingezet. In het geval van Skypes vertaalfunctie krijgen medewerkers een stuk audio te horen, inclusief een aantal voorgestelde vertalingen die door de kunstmatige intelligentie worden voorgesteld. Daaruit moeten zij kiezen welke vertaling het beste past bij het audiofragment, maar de medewerkers kunnen ook eigen input geven.

Microsoft zegt tegen Motherboard dat de audiofragmenten alleen via een beveiligde portal te beluisteren zijn, en dat het bedrijf probeert zoveel mogelijk informatie weg te laten waarmee gebruikers te identificeren zijn, zoals apparaatnummers. In de algemene voorwaarden schrijft het bedrijf alleen dat het 'gesprekken verzameld en gebruikt worden' om de diensten van Microsoft te verbeteren, en dat die informatie 'geanalyseerd' wordt, maar er staat niet dat daar menselijke gebruikers bij komen kijken.

Verschillende grote techfabrikanten liggen de afgelopen weken onder vuur vanwege het feit dat zij menselijke werknemers mee laten luisteren naar delen van gesprekken die via slimme assistenten zoals Assistant, Siri en Alexa worden gevoerd. Google en Apple hebben dat verzamelen onlangs tijdelijk stopgezet, en bieden samen met Amazon opt-outs aan voor het verzamelen en analyseren van audio-opnames.

Door Tijs Hofmans

Redacteur privacy & security

07-08-2019 • 21:59

99 Linkedin Google+

Submitter: Lednov

Reacties (99)

Wijzig sortering
Eerlijk gezegd snap ik de nieuwswaarde van dit soort artikels niet meer. Het is een mediahype waarbij ze op zoek gaan bij elke vertaaldienst om een artikel te kunnen schrijven. Daarnaast is het compleet logisch dat zulke diensten op een bepaalde manier getest/verbeterd moet worden. Dit kan niet anders dan door mensen.

Het enige wat mij dan stoort is dat de bedrijven dan niet de "hype" voor zijn en alvast zeggen: goh, wij zien in dat dit niet duidelijk is in de voorwaarden. We maken er een opt in functie van waarbij je skype 10min krijgt. (Bij wijze van)
Daarnaast is het compleet logisch dat zulke diensten op een bepaalde manier getest/verbeterd moet worden.
Wat logisch is is in deze geheel irrelevant. Ik mag het logisch vinden de herten in mijn tuin neer te schieten als ze mijn tomatenplanten opeten, maar dat maakt het niet wettelijk toegestaan. Microsoft heeft geen toestemming gevraagd en zelfs niet medegedeeld dat gesprekken voor dit doeleinde gebruikt worden. Dat waarschijnlijk niet toegestaan. In mijn ogen is de belangrijkste taak van journalisten dit soort misstanden aan de kaak stellen. Zonder journalisten komen bedrijven (en overheden) veel te vaak weg met hun wangedrag. Of dat aan de kaak stellen door een technische journalist bij Tweakers, of een juridische journalist bij het financieel dagblad moet gebeuren staat open voor discussie, maar Tweakers ontkent hiermee in elk geval niet zijn journalistieke verantwoordelijkheden.
Heb je het artikel wel gelezen?
In de algemene voorwaarden schrijft het bedrijf alleen dat het 'gesprekken verzameld en gebruikt worden' om de diensten van Microsoft te verbeteren, en dat die informatie 'geanalyseerd' wordt, maar er staat niet dat daar menselijke gebruikers bij komen kijken.
Zelfde geldt voor Cortana als je Windows installeert.

Jou hele vlieger gaat dus niet op, er wordt en toestemming gevraagd en vermeld dat het geanalyseerd wordt. Ik vind het dan ook bijzonder dat je op een +3 staat. Dat is dus precies het probleem. Mensen die vallen op straat, de gemeente de schuld geven van scheve tegels, maar eigenlijk niet kunnen inzien dat ze over hun eigen voeten zijn gestruikeld. (Door dus niet goed te lezen). Want de tegels liggen gewoon recht. Er staat gewoon dat ze de boel analyseren, hoe dacht je dan dat ze dat doen? Iedereen valt er nu over dat dit door mensen gebeurd. Sorry hoor, dat is toch geen nieuws? En dan heb ik het over dit nieuwsbericht.

Dat het terug te herleiden is naar personen zoals in de vorige berichten vind ik nog wat anders. Zoals het nu lijkt heeft Microsoft het beter voor elkaar. Dat dit journalistiek verder onderzocht wordt, perfect! Ik ben hier groot voorstander van.
Het enige wat in dat artikel staat is dat Microsoft gesprekken heeft geanalyseerd om hun AI te verbeteren en dit is gedaan door *tromgeroffel* ja door mensen!
Als het aankomt op juridische vaardigheden wint de consument het nooit van bedrijven als Microsoft. Juist daarom vereist de AVG niet dat we goed lezen .
Dit is de discussie ontwijken. Jij zegt dat ze geen toestemming vragen en dat ze niet zeggen wat ze met de gegevens doen.
Dit feitelijk onjuist. Dat maakt jou hele betoog irrelevant als reactie op mijn post.
Dat het niet in de punt komma scheet staat uitgeschreven is een andere discussie, zo ook of het juridisch haalbaar is als consument om iets aan te vechten.
er staat ook nergens dat dit niet door mensen kan beluisterd worden. Je vraagt een dienst aan een bedrijf: vertaal dit naar die taal. Als je dit door een gewone, betalende tolkdienst laat doen, dan zal de vertaler zelfs héél je gesprek kunnen volgen en geeft die ook zijn eigen interpretatie. Bij Microsoft en Apple gebruiken ze die info verder niet zoals dat bij Amazon en Google wél het geval is: namelijk advertenties of producten verkopen.
Dat is wel een heel erg simpele insteek. Beetje vergelijkbaar met het aanklagen van je magnetron fabrikant omdat ze niet zeggen dat je je kat niet moet drogen in de magnetron |:(
da's niet echt vergelijkbaar, want de dienst die je wil wordt wel degelijk geleverd en jouw leuke voorbeeld heeft in de VS jammer genoeg tot zulke warning-labels geleid. Waarom dit dan plots als ongewenst wordt gemod snap ik niet, maar da's voor in het mismoderatie-topic ;)
Tja, water is nat. Maarja ze zeggen allemaal dat het niet herleidbaar is naar personen, vooral Apple was stellig. Blijkt ook onzin te zijn geweest; https://nos.nl/artikel/22...ames-siri-gebruikers.html

Ben benieuwd hoe het dan bij de rest zit. Wel een beetje raar dat het Apple nieuws hier niet te vinden was.

Bij Skype en cortana was dit overigens al bekend en werd er bij de privacy settings al aangegeven dat spraak e.a. geanalyseerd zou worden. Was niet heel lastig te vinden, dus zo onverwachts is dit nieuws niet. Het is ook optioneel en zichtbaar tijdens de Windows 10 installatie en er waren wat meldingen bij het activeren van Skype translate.
Natuurlijk ben ik het eens dat hetgeen wat je zegt ook zo moet zijn. Het blijven helaas monsterlijk grote bedrijven waarbij ik blij ben met journalistieke controle.

/Offtopic
Ik vind sowieso dat Microsoft de laatste jaren goede stappen heeft gemaakt met de privacy opties (Ja het kan altijd beter). Maar ook het luisteren naar de community. Behalve een paar dingen zoals edge op Chromium baseren, stoppen met Windows Mobile en met de Band. Hierin had ik gehoopt dat Microsoft voor de diversiteit zou kiezen en de mogelijkheid voor een eigen ecosysteem.
Waarom zou je hopen op een gesloten ecosysteem waar je als consument steeds genaait wordt door hoge prijzen?

Edit: Ik was iets te voorbarig met mijn reactie.

[Reactie gewijzigd door BlaDeKke op 8 augustus 2019 00:04]

Volgens mij heb ik nergens gesloten staan?

Een ecosysteem is niks anders dan een wisselwerking. Dat bijv. Apple besloten heeft om dit gesloten te houden is iets anders.

Het ideale ecosysteem voor mij is dat ik producten kan kiezen van het merk zelf, die een naadloze samenwerking met elkaar hebben. Waarbij ik ook de keuze kan maken om voor een ander merk te gaan. Waarbij de diensten nog steeds goed werken.
Daarnaast is het compleet logisch dat zulke diensten op een bepaalde manier getest/verbeterd moet worden. Dit kan niet anders dan door mensen.
Klopt, maar dat zegt nog niets over waar die mensen de extra trainingsdata vandaan halen.

Begrijp me niet verkeerd, ik zal meteen toegeven dat alternatieven lastig zijn. Bij een opt-in zal 99% van de gebruikers voor "nee" kiezen (en de meesten van die 1% staan alsnog op hun achterste benen bij dit nieuws omdat ze het ooit aangezet hebben en dat inmiddels compleet vergeten zijn). De, vanuit privacy-oogpunt, "correcte" methode (na een niet-begrepen opdracht de assistent laten zeggen "Dat begreep ik niet. Mag ik de opname doorsturen zodat $bedrijf medewerkers mijn spraakherkenning kunnen verbeteren?") is veel te onhandig; de gebruiker wil op dat moment de opdracht opnieuw inspreken (die de tweede keer hopelijk wel begrepen wordt), niet eerst door een proces heen om een phone-home goed te keuren.

Maar ja, wat blijft er dan over? Sommige dingen zul je in je eigen testinvoer simpelweg niet tegenkomen, maar alleen in de praktijk, dus op de één of andere manier zul je iets moeten verzinnen om (na allerlei checks en voorwaarden) data van echte klanten vast te leggen.
of je maakt de toestemmingszin wat simpeler: 'alexa learn: <zin opnieuw>' 'alexa check: <zin opnieuw>', enz. Men wil dat echter waarschijnlijk niet, omdat deze manier veel meer data oplevert.

Er zijn echt wel opties dus, alleen is het ook een vrij Amerikaanse manier van productrelease: je gaat gewoon doen en reageert pas als mensen gaan miepen.
Het is goed dat dit soort nieuws geplaatst wordt. In de fysieke wereld is de persoonlijke leefomgeving afgebakend met beton en kamers, waarmee je eigen persoonlijke vrijheid en intimiteit kan genieten. Je ziet de afgelopen weken dat een aantal programma's daarin meeluisteren - zonder dat de gebruiker - zich hier bewust van wordt gemaakt / is. Of het nu gaat om 1% of 10% van alle berichten die mee worden geluisterd: het is veel.

Stel dat iemand aan de telefoon (een onbekende) met jouw gesprekken mee zou kunnen luisteren die jij met een ander hebt. Terwijl jij aan het telefoneren bent. Dat is per definitie onwenselijk. Maar op een of andere manier zou de digitale wereld dan een hellend vlak zijn waarin we dit soort zaken steeds meer toelaten? en dat hier geen aandacht voor hoeft te zijn? Hier hoort juist aandacht voor te zijn.
Stel dat iemand aan de telefoon (een onbekende) met jouw gesprekken mee zou kunnen luisteren die jij met een ander hebt. Terwijl jij aan het telefoneren bent. Dat is per definitie onwenselijk.
En toch zie ik steeds meer mensen overal per speaker de meest intieme privé gesprekken voeren. Blijkbaar vinden zij het helemaal niet ongewenst als anderen meeluisteren.
Wat steeds meer mensen doen heeft geen relevantie voor mijn rechten op mijn privacy. Die rechten heb ik. Die laat ik gelden. Dat steeds minder mensen dat doen, vind ik volledig onbelangrijk. Niet relevant. Niet voor mijn recht op privacy.

De wet is niet veranderd. Mijn rechten ook niet. Enkel het (kudde) gedrag van een bepaalde groep mensen.

So what?
Oh, dat ben ik helemaal met je eens. Het verbaast me alleen, het valt me op.
Of je het persoonlijk nieuwswaardig vindt of niet is inderdaad discutabel - ik sta er persoonlijk ook niet echt van te kijken, maar dat is misschien ook omdat ik er meer dan gemiddeld mee bezig ben.

Vanuit een journalistiek oogpunt is het echter nog wel nieuwswaardig: dit was nog niet eerder bekend en Microsoft is er zelf ook niet uit zichzelf mee naar buiten getreden. Dat mensen bij alle AI-diensten meeluisteren is niet per definite waar; dát het bij alle grote techbedrijven gebeurt betekent niet dat het de default is.

Ik vind het net als jij 'logisch' dat dit gebeurt, maar als je kijkt naar de ophef rondom alle andere bedrijven is het dat voor veel mensen niet. Dat maakt het ook in dit geval noemenswaardig om te melden zoals we nu doen.
Mijn persoonlijke mening.
De doelgroep van Tweakers zijn technologisch onderlegde/geïnteresseerde mensen. Die net als jou er niet van opkijken en meer inzicht hebben hoe technologieën worden ontwikkeld.

Voor mijn gevoel wordt de ophef gecreëerd en gepusht door grote mediabedrijven. In mijn omgeving (niet technologisch geïnteresseerd) kan het ze aan de reet roesten, terwijl de mensen hier er niet van opkijken. Dat het bij de grote media bedrijven gepubliceerd wordt wil niet betekenen dat het voor Tweakers nieuws is.

Dan had ik liever gehad dat de energie werd gestoken om een artikel te schrijven over een super AI die het universum heeft nagebootst en op onverklaarbare wijze berekeningen gemaakt heeft waarvan de wetenschappers zelf niet begrijpen hoe de AI dat "besloten/berekend" heeft. (Artikel heb ik al aan jullie getipt)
Wat voor de één gesneden koek is is dat voor de ander niet. We kunnen er als medium en als journalisten niet vanuit gaan dat alle lezers overal van op de hoogte zijn, daar moet je erg mee oppassen. Dan schrijf ik liever één 'duh'-artikel teveel dan dat we er vanuit gaan dat onze lezers dingen toch wel weten.
Natuurlijk snap ik de afweging. Alleen deze sneeuwbal zag je van verre al aankomen.
Wat gaat nu het volgende zijn? Google, Apple, Microsoft (SwiftKey) heeft gesprekken laten lezen door medewerkers om de tekstinvoer te verbeteren?
Garmin 945 trackt niet alleen het hardlopen maar ook je menstruatiecyclus en emotionele status (dit is echt waar) waarbij het deze informatie analyseert door mensen en verkoopt aan... Libelle?

Als je dan toch een artikel er aan had willen wagen had ik liever een dieper context nieuwsbericht gezien, privacy round up?
Wat is er gebeurd? Waarom de "ophef"? Acties tot nu toe? Mogelijke aangekondigde veranderingen? Welke bedrijven zijn betrokken, of kunnen nog betrokken raken. Mogelijke oplossingen?
En zoals hieronder werd voorgesteld een terugkoppel artikel over de daadwerkelijke veranderingen.

Mij lijkt dat leuker dan een 13de in een dozijn nieuwsbericht.
Ik ben helemaal met je eens bram34 en Tweakers heeft er zelf helemaal van potje van gemaakt om beetje bij beetje niet meer te richten op echte techneuten.

Ik kan tientallen voorbeelden sturen van zeer boeiende projecten die gaande zijn (en live zijn) binnen de blockchain wereld maar hier op Tweakers lezen we alleen als er bitcoins gestolen worden. Waarom? Ik heb geen idee, maar mijn vermoedens gaan steeds meer naar clickbait en de vele zinloze discussies die er dan ontstaan.
Ik kan tientallen voorbeelden sturen van zeer boeiende projecten die gaande zijn (en live zijn) binnen de blockchain wereld
Waarom doe je dat dan niet?

On-topic:
Wat dit nieuwswaardig maakt is niet dat Microsoft medewerkers meeluisteren, maar dat er iets wordt gedaan dat mogelijk niet door de voorwaarden wordt afgedekt. Voor mij en een groep techneuten die ik ken is dit nieuws juist interessant. Nieuws op T.net gaat niet enkel over technologie zelf, maar ook over de gevolgen die het leven beïnvloeden. Die kunnen positief of negatief zijn.

Dat sommige mensen het recht op privacy maar niets vinden en het hoofd in het zand steken is geen excuus om anderen dat recht en nieuws daarover te ontnemen. Het is leven en laten leven. Als je dit artikel niet wilt lezen, dan sla je het over.

[Reactie gewijzigd door The Zep Man op 8 augustus 2019 05:14]

Waarom ik dat niet doe? In het verleden zeker gedaan (en hier is ook niks mee gedaan), maar persoonlijk vind ik dat dit ook vanuit Tweakers zelf moet komen.

Als ze ervoor kiezen om minder technische mensen in dienst te hebben om bepaalde nieuwsitems te kunnen vinden en schrijven dan is het toch niet aan de leden om maar deze items constant te sturen? Zoals Bram34 ook aangeeft missen we zelfs in de meest simpele artikelen diepgang, wat moeten we dan verwachten van een echt technisch onderwerp?
Wat dit nieuwswaardig maakt is niet dat Microsoft medewerkers meeluisteren, maar dat er iets wordt gedaan dat mogelijk niet door de voorwaarden wordt afgedekt.
Het wordt, in tegenstelling tot Apple en Google, juist wel goed afgedekt. Bij een nieuwe installatie krijg je het netjes te zien en bij de laatste windows 10 update werden de privacy opties opnieuw getoond. Zie de uitspraak van triogap.

[Reactie gewijzigd door vali op 8 augustus 2019 08:19]

Het wordt, in tegenstelling tot Apple en Google, juist wel goed afgedekt. Bij een nieuwe installatie krijg je het netjes te zien en bij de laatste windows 10 update werden de privacy opties opnieuw getoond. Zie de uitspraak van kodak.
De omschrijving waar Microsoft naar refereert zegt niets. Het is onduidelijk of het om geautomatiseerde verwerking gaat of om handwerk, zeker voor een doorsnee eindgebruiker.
Een doorsnee eindgebruiker boeit beide vrijwel niks. Je zei dat het niet wordt aangegeven wat ze met je gegevens doen en zoals ik vermelde doen ze dit wel netjes. Mocht je de installatie niet duidelijk vinden dan kan je het, zoals jij het ook aangeeft, in de voorwaarde terug lezen.

Ben eigenlijk wel benieuwd of jij het hebt gelezen?

[Reactie gewijzigd door vali op 8 augustus 2019 08:13]

Je zei dat het niet wordt aangegeven wat ze met je gegevens doen en zoals ik vermelde doen ze dit wel netjes.
Uit het artikel:
In de algemene voorwaarden schrijft het bedrijf alleen dat het 'gesprekken verzameld en gebruikt worden' om de diensten van Microsoft te verbeteren, en dat die informatie 'geanalyseerd' wordt, maar er staat niet dat daar menselijke gebruikers bij komen kijken.
Dat is niet duidelijk.
Ben eigenlijk wel benieuwd of jij het hebt gelezen?
Een persoonlijke aanval maakt je argument niet sterker.

En nee, ik gebruik geen Windows. Als ik het wel moet gebruiken dan betreft het een configuratie waar alle vormen van telemetrie en andere zaken die niet nodig zijn om een systeem veilig en up-to-date te houden zijn uitgeschakeld.
Jammer dat je het als aanviel opvat. Ik was alleen benieuwd of je überhaupt wel Windows gebruikt. Dan had je kunnen ervaren dat het wel degelijk wordt weergegeven en informatie wordt gegeven als je er meer over wilt weten. Alleen afgaan op een artikel geeft vaak een vertekend beeld.

Ze hebben niet voor niets hier veel energie en tijd in gestoken aangezien ze vanuit de EU flink wat gezeik ermee gekregen(wat zeker terecht is geweest).

Verder verwijs ik niet naar het artikel maar wat Microsoft toont. Dat Tweakers niet altijd de juiste informatie in hun artikelen plaatst kan Microsoft ook niks aan doen.

[Reactie gewijzigd door vali op 8 augustus 2019 12:19]

[...]
Waarom doe je dat dan niet?
Misschien doet hij dat wel.
En ik kan me voorstellen dat je daar op een zeker moment gewoon mee ophoudt, denk. Zoals deze pagina zelf al aangeeft:
Houd er rekening mee dat wij dagelijks zeer veel suggesties krijgen ingestuurd, die onmogelijk allemaal geplaatst kunnen worden.
Overigens vind ik het (hoewel niet onverwacht en zelfs logisch) gegeven dat ook Microsoft dit doet niet meer dan normaal dat dit ook vernoemd wordt. Het zou echter nog groter nieuws zijn als er bewijs was dat zij hun diensten zouden kunnen verbeteren (inclusief live vertalingen!) zonder menselijke analyses.
Ik wens mijn Garmin veel succes toe bij het tracken van mijn menstruatiecyclus :o
On topic: het zou interessanter zijn om te weten of Google/Apple/Microsoft dan ook meeluisteren met je telefoongesprekken (om de productervaring te verbeteren uiteraard...)
De informatie wanneer jij op welke plek stress ervaart is ook een hoop geld waard.
"Garmin 945 trackt niet alleen het hardlopen maar ook je menstruatiecyclus en emotionele status" Heb je een bron, want daar ben ik wel benieuwd naar?
Jazeker

Staat gewoon op de officiële pagina en ze adverteren er mee. (bij overzicht onderaan)

Edit: En deze, waarbij alle modellen staan die het kunnen

[Reactie gewijzigd door Bram34 op 8 augustus 2019 11:00]

Zou je dan ook een bron hebben over het doorverkopen van deze data?
Op de website van Garmin zelf staat dat dan weer niet genoemd:

https://www.garmin.com/nl-NL/privacy/connect/
https://www.garmin.com/en-US/privacy/global/
Het waren voorbeelden die suggestief zijn. Alleen dat de Garmin je menstruatiecyclus/vruchtbaarheid/emotionele status volgt vond ik behoorlijk merkwaardig. (Vandaar dat ik dit in het midden plaatste) om aan te geven dat ik het niet uit mijn duim zuig. Alleen het gedeelte dat het informatie doorverkoopt is (nog) niet zo.
Wel dat het gegevens analyseert.
Ik denk dat veel (privacy bewuste) tweakers er niet van opkijken. Toch vind ik het fijn om dit nieuws te lezen. Het is goed dat het bekend wordt bij een breder publiek, wat deze grote tech bedrijven allemaal doen met je data. Hoewel we al verwacht hadden dat deze bedrijven allemaal mee luisteren, is het goed dat dit wordt indersteund door feiten.
Kom op Bram, het is gewoon nieuws. Punt. Wat voor effect het heeft en of jij liever iets anders leest, is bijzaak.
Als Tweakers over dit gedrag bij Amazon, Apple en Google een nieuwsbericht maakt en bij Microsoft niet, dan gaan er vast mensen klagen dat Microsoft een hand boven het hoofd gehouden wordt, en die kun je dan niet eens ongelijk geven.

Daarnaast kan het interessant zijn om te vergelijken hoe de verschillende bedrijven met de opnames omgaan.
True, alleen had het mij niet uitgemaakt over welk bedrijf het nu gaat, of wat het volgende bedrijf wordt. Als het over één of twee bedrijven gepubliceerd is moet je dan in den treuren alle volgende bedrijven een artikel geven.

De mens is in dit soort gevallen vaak hypocriet. Aan de ene kant willen we dat alles goed werkt, dat de software nooit fouten maakt. Dat je een mailtje krijgt en dat de afspraak direct in je agenda staat. Maar dan wel hoog van de toren blazen dat in de voorwaarden staat dat je agenda toegang heeft tot je mail....(versimpeld voorbeeld).

Voor Microsoft, Google, Amazon, Apple en al dat soort bedrijven hebben liever ook dat het niet meer gecontroleerd hoeft te worden. Goed dat het aangekaart is dat data te herleiden was tot personen. Daar ben ik het absoluut mee eens dat het anders moet. "Per ongeluk" opgenomen gesprekken vind ik dat die niet meegenomen moeten worden.

Als het bedrijf niet zoals Japan is met wetenschappelijk onderzoek naar walvissen. Waarbij je dus niet spontaan reclames van de Apenheul krijgt als je het daar met een aantal mensen over hebt. Dan vind ik het niet meer dan logisch dat er een zeer kleine kans is dat een gesprek voor trainingsdoeleinden wordt gebruikt.
Toen het nieuws over Google via VRT en NOS naar buiten kwam hebben we ook getwijfeld over wat we moesten doen. Arnoud schreef het bericht destijds en wilde er aanvankelijk een .geek van maken omdat het inderdaad geen 'nieuws' was. Dat heeft ie uiteindelijk niet gedaan en als je de reacties zag is dat niet onterecht; er waren heel veel mensen die het niet wisten. Dan volgt daarop logischerwijs ook dat we het over andere techbedrijven ook schrijven.
Skype is iets dat typisch zakelijk gebruikt wordt. Bedrijfsvertrouwelijke informatie tot aan beursgevoelige informatie kan over dat kanaal gaan.

Ik heb bijvoorbeeld sollicitatiegesprekken en persoonlijke gesprekken met werknemers via Skype. Ook strategische gesprekken gaan regelmatig via Skype, dat scheelt vliegen en is dus minder milieu belastend.

De Skype audio mag dus niet zonder toestemming vooraf of zonder rechtelijk bevel worden afgetapt en worden beluisterd door derden.

Note Skype is bovendien via de Microsoft Office 365 aan LinkedIn gekoppeld (adresboek), waardoor het voor afluisterende mensen een koud kunstje wordt om te bepalen wat de functies zijn van de personen in het gesprek. Dat maakt de audio opname en de informatie daarin nog extra gevoelig.

[Reactie gewijzigd door djwice op 8 augustus 2019 14:07]

Ik vond dat je in principe een goed punt hebt dus ben ik even het gaan opzoeken. Misschien dat @Tijs Hofmans misschien meer duidelijkheid kan geven.

Ik neem aan dat je zakelijke gesprekken via Skype for business gaan. Hier gelden andere voorwaarden, dacht ik zo.

Ik neem aan deze berichtgeving betrekking heeft tot de consumenten variant.
Daarmee is je gehele post een storm in een glas water. Microsoft ligt over het algemeen zeer sterk in de zakelijk markt en zal dit soort risico's (lijkt mij) niet nemen.
Daarmee is je gehele post een storm in een glas water. Microsoft ligt over het algemeen zeer sterk in de zakelijk markt en zal dit soort risico's (lijkt mij) niet nemen.
Als het inderdaad klopt dat dit alleen voor de consumenten versie geldt en niet als een van beide business gebruikt. Vaak moeten mensen van buiten de organisatie deelnemen aan het gesprek (as you might understand why) dus die gaan als gast in de Skype call.

De laatste tijd merk ik juist dat Microsoft ook zakelijk steken laat vallen. Installeer bijvoorbeeld de Android apps voor office 365 en kijk wat er per default verzameld wordt aan data. De meeste bestuurders zijn geen IT, die tweaken die setting niet.
Ook sturen producten als Microsoft Flow zonder expliciete toestemming van de juiste personen in de organisatie product promotie email naar alle personen in je organisatie. De emails bevatten zelfs geen opt-out en komen van Microsoft zelf.

[Reactie gewijzigd door djwice op 9 augustus 2019 17:27]

En precies dit soort dingen zouden het artikel meer waarde kunnen geven.

Wat ik zo zag is dat het "verbeter programma" standaard uit staat(opt in). Dit ging niet specifiek over de vertaaldienst.
Stomme zet van Flow(of jullie organisatie) hier heb ik verder te weinig zicht op om er iets zinnigs op te zeggen
Dat dit nog nieuws is...
"In de algemene voorwaarden schrijft het bedrijf alleen dat het 'gesprekken verzameld en gebruikt worden' om de diensten van Microsoft te verbeteren, en dat die informatie 'geanalyseerd' wordt, maar er staat niet dat daar menselijke gebruikers bij komen kijken."
Goh, immers alleen een mens kan op dit moment nog die informatie zinvol analyseren.
In de USA is het in opmars om kritisch te zijn over hoe bedrijven omgaan met privacy. En ook in Europa is dit meer aandacht aan het krijgen, mede omdat hier nog strengere wetgeving is ingegaan.

De service presenteren Miscrosoft en Skype als een geautomatiseerde assistent (bot) die real-time voor je een vertaling doet en werkt op basis van AI. In de marketing is er geen woord over de tussenkomst van personen van het bedrijf om de service te gebruiken of men laat in het midden of een persoon en/of een automatische service de vertaling doet. Dat wekt een bepaalde indruk en verwachting. Dat er in de kleine lettertjes in een contract staat dat het ook voor andere doeleinden gebruikt kan worden of dat er analyse op kan plaatsvinden maakt het dan niet vanzelfsprekend dat het met tussenkomst van een medewerker of ingehuurde bedrijf gaat. Vervelender nog, Microsoft en Skype zijn verre van duidelijk dat het ze niet alleen om het leveren van de vertaling gaat met het gebruik van de gesprekken of teksten.

Ik vraag me af welk belang iemand zou hebben om de vaagheden van marketing en in voorwaarden omschreven werkelijk mogelijk gebruik door bedrijven te verdedigen. Waarom zou een bedrijf moeten kunnen bepalen wat ze met zeer privacy gevoelige gegevens kunnen doen en de gebruikers van wie de gegevens eigenlijk zijn daar nauwelijks tot zeer vaag duidelijk over te informeren, de mogelijkheid te geven om daar vanaf te zien en controle te hebben over wat een bedrijf wanneer met welke gegevens van hun doet?
In je Windows privacy settings staat gewoon onder de kop Spraak:

Microsoft gebruikt uw spraakgegevens om onze spraakservices te verbeteren.

Met daaronder een mooie toggle om deze optie uit te schakelen. Wat verwacht je van Microsoft? Dat ze erbij vermelden dat er fragmenten van je spraak worden beluisterd door medewerkers om te valideren dat de teksten die daaruit gegenereerd zijn door de automatische systemen correct zijn.

Er wordt een minimale set aan meta data gebruikt om deze fragmenten correct te kunnen beoordelen. Daarnaast gaat het niet om volledige gesprekken. Het zal vooral gaan om fragmenten waarvan de AI heeft bepaalt dat de kans op fouten groot is.

De gebruiker verwacht dat deze systemen fijloos werken. Een onderdeel daarvan is dat de systemen verbeterd worden. Dit gaat voor een groot deel al met machine learning. Maar om te voorkomen dat deze systemen zichzelf verkeerde patronen aanleren is het wenselijk om dit te blijven valideren. Jje hebt als gebruiker zeer zeker een keus in deze.
De gebruiker verwacht dat deze systemen fijloos werken.
Kan je aantonen dat gebruikers dat verwachten? En als dat al de verwachting zou zijn, wat ik betwijfel, waarom de klant daarvoor dan standaard zijn meest gevoelige gegevens daarvoor zou moeten leveren tenzij ze er zelf voor kiezen er vanaf te zien en waarom dat dan alleen een algemene optie is in plaats van per keer dat het echt nodig is?

Het klinkt namelijk als een erg goedkoop excuus om het voor de bedrijven op te nemen in plaats van de privacy van de klanten. Dat een bedrijf zijn product of dienst wil verbeteren kan op vele manieren, die ook nog eens veel minder ver gaan in de omgang van privacy van klanten en anderen en ook veel duidelijker en met meer controle kunnen zijn.
Kan je aantonen dat gebruikers dat verwachten?
Lijkt mij simpel. Als jij een product koopt verwacht je dan dat het doet wat het moet doen of verwacht je dat het om de zoveel weken uit elkaar valt?
Als ik Skype gebruik verwacht ik niet dat er iemand meeluistert. Ik merk aan de andere kant dat die dat ook niet verwacht. En ik hoorde en las dat er mensen zijn die volledig bloot gaan en hun geslachtsorganen laten zien aan elkaar op Skype en weet ik veel wat, extreem intieme dingen tegen elkaar zeggen, geheimen met elkaar delen op Skype. Het over het leven en de dood hebben, over erfenissen, over hun geestestoestand en psychologische klachten, over ziekte.

Ik concludeer daaruit dat die mensen ook niet verwachten dat er iemand meeluistert.

Iedereen weet wel dat wanneer je illegale dingen doet, het zou kunnen dat de overheid (de politie) meeluistert. Maar daar zijn strenge regels over die over het algemeen goed nageleefd worden door die politie. Niet iedereen verwacht dat medewerkers van een private onderneming je gaan afluisteren.

Dat gebeurt ook niet zomaar bij gewone telefoongesprekken. Daar zijn immers regels over. Dus waarom wel plots bij Skype?
Mijn reactie ging er juist over dat er gezegd werd dat mensen niet verwachten dat iets feilloos werkt. Mij lijkt dat juist wel dat mensen verwachten dat iets feilloos werkt. Dat mensen nit verwachten dat iemand mee luistert is natuurlijk evident. Immers voor de meeste mensen is het zo dat deze niet weten hoe een dergelijke dienst in elkaar steekt dus ook niet kunnen vermoeden dat er iemand mee luistert om de dienst te verbeteren.
Het is niet zo dat er meegeluisterd wordt met normale gesprekken op Skype. Er worden fragmenten van de Skype gesprekken waarbij de translator bot gebruikt wordt gebruikt om deze bot te verbeteren. Er worden bewust geen langere stukken gebruikt. Tevens wordt er zo min mogelijk context gebruikt om wel op een correcte manier te kunnen bepalen of vertalingen correct zijn bepaald.

Als jij zo'n dienst gebruikt om een gesprek met iemand te voeren, wil je er wel vanuit kunnen gaan dat hij hoort (vertaald) wat jij zegt. En wat jij van hem hoort (vertaald) ook is wat hij gezegd heeft. Zonder dat dit steekproefsgewijs wordt gevalideerd zal dit niet beter worden.
Dat iets niet beter zal worden zonder steekproeven betekent niet dat er niet actief en duidelijk gemeld moet worden dat men iets doet. Bijvoorbeeld wanneer een vertaling niet automatisch ging, dan zou er een ballon kunnen komen tijdens het gesprek dat de vraag duidelijk en ondubbelzinnig aan beide gebruikers stelt: mogen we dit stukje audio naar een medewerker sturen ter analyse? Ja of Nee?

Dat zou waarschijnlijk wel prima zijn. Maar niet zomaar. Niet achter de rug om. Niet achter een verdoken zinnetje ver weg in één of andere EULA of overeenkomst van tig bladzijden groot dat om de dienst beter te maken Microsoft medewerkers van alles gaan doen dat de gebruikers helemaal niet verwacht hadden.
De gebruiker verwacht dat deze systemen fijloos werken.
Kan je aantonen dat gebruikers dat verwachten?
Lijkt mij simpel
Dat lijkt me verre van simpel. Als je een product koopt en je verwacht dat het perfect is, dan kom je altijd bedrogen uit. Je neemt dus in mijn ogen bij voorbaat al genoegen met minder dan feilloze werking.
Als ik een fiets koop verwacht ik dat ik zelf moet trappen, dat ik de ketting regelmatig moet smeren, dat de remblokjes slijten en vervangen moeten worden, dat ik hem af en toe schoon moet maken en dat hij na 5 tot 15 jaar vervangen moet worden. Ik verwacht dus niet een product dat zonder enige moeite daartoe feilloos werkt. Als ik een service als deze gebruik, verwacht ik niet dat het feilloos moet werken. En al helemaal geef ik Microsoft geen toestemming om de wet te negeren zodat ze het kunnen verbeteren!

[Reactie gewijzigd door 84hannes op 8 augustus 2019 10:18]

Microsoft heeft hier geen wet genegeerd. Voor beide diensten waar dit nieuws bericht over gaat wordt vermeldt dat jouw data wordt gebruikt om de dienst te verbeteren. Microsoft doet ook hun uiterste best om te voorkomen dat de fragmenten herleidt kunnen worden naar een natuurlijke persoon.

Mogelijk dat het AI systeem dat bepaalde fragmenten aanmerkt als moeilijk om te zetten naar tekst (het naluisteren waardig), zelf ook al logica heeft om te voorkomen dat hier gevoelige informatie bevat. Dit laatste is lauter speculatie, maar zou wel een mooie stap zijn.
Wat verwacht je van Microsoft? Dat ze erbij vermelden dat er fragmenten van je spraak worden beluisterd door medewerkers om te valideren dat de teksten die daaruit gegenereerd zijn door de automatische systemen correct zijn.
Ja. Deze zin:
Microsoft gebruikt uw spraakgegevens om onze spraakservices te verbeteren.
Zegt namelijk helemaal niets. "Microsoft" is voor een eindgebruiker een zeer abstracte term. Die gegevens zouden bijvoorbeeld automatisch verwerkt kunnen worden en niet handmatig.

Het is alsof Microsoft een zinnetje meeneemt als:
Microsoft gebruikt uw gegevens om onze diensten te verbeteren.
Waarna alle vormen van gegevensverwerking toegestaan zouden moeten zijn. Zo werkt het niet.

[Reactie gewijzigd door The Zep Man op 8 augustus 2019 08:03]

Ze hebben gelukkig ook een stuk uitgebreidere variant (die direct gelinkt is vanaf de settings pagina):

https://privacy.microsoft...nspeechinkingtypingmodule

Je kan ook letterlijk alle fragmenten die Microsoft van jouw spraak heeft inzien in je "Privacy dashboard".
Volgens de AVG/GPDR moet je expliciet toestemming vragen om persoonsgegevens te gebruiken. Per doeleind een nieuwe expliciete toestemming. De originele stelling "gebruiken om te verbeteren" is veel te vaag. Een privacystatement is niet ook genoeg.

Er zijn ook alternatieven: zelf medewerkers in dienst nemen en dat gebruiken. Flink duurder natuurlijk.
Op het moment dat je je Microsoft account koppelt aan je Windows account krijg je diverse privacy instellingen voorgeschoteld. Waaronder deze. Je kan ervoor kiezen om niet gebruik te maken van online spraak herkenning. Dan wordt er geen data/spraak naar Microsoft verstuurd. Daarbij vallen ook de spraakherkenning van Cortana weg in Windows.

Daarnaast kan je als eindgebruiker gewoon bepalen welke fragmenten door Microsoft bewaard worden en daarmee ook geanalyseerd kunnen worden.
Zoals ik bij andere artikelen al aangaf: het bewaren en beluisteren van mijn gesprekken is niet noodzakelijk om mij diensten te kunnen verlenen, dus lijkt dit me niet toegestaan onder de AVG. Ik moet er expliciet toestemming voor kunnen geven en bij het niet geven van toestemming toch van de dienst gebruik kunnen maken.

Een autofabrikant moet ook weten hoe auto’s gebruikt worden. Dat geeft ze niet het recht om zonder meer alle auto’s met een actieve GPS-tracker uit te rusten.
Dat vind ik geen vergelijk. Laten we de auto fabrikant nemen. Als jij een diefstal preventie service wil afnemen, kan de fabrikant jou deze bieden. Hiervoor wordt de GPS data om de zoveel tijd naar de fabrikant verzonden. Er zijn natuurlijk andere manieren om dit te doen. Maar dit is een vaker voorkomend concept. Zo ook met smartphones. Maar jij als gebruiker vindt dit onprettig en dat dit inbreuk maakt op jouw privacy. Jij hebt dan het recht om te besluiten de dienst af te nemen. De fabrikant zal dan geen GPS data verzamelen.

Dit geval is niet anders. Jij wilt een dienst afnemen waarbij gesproken woord wordt omgezet naar tekst. Microsoft wilt graag dat deze dienst voor zo veel mogelijk van zijn gebruikers zo goed mogelijk werkt. Zij hebben daarom gestelt dat het vereist is dat zij fragmenten analyseren. Om hiermee de systemen te verbeteren. Of dit door een persoon of een machine gebeurt doet niet ter zaken. Zolang de fragmenten maar niet tot een natuurlijk persoon herleidt kunnen worden. Maar als jij als gebruiker je niet comfortabel voelt bij dit concept. Kan je gewoon opteren om van deze opties geen gebruik te maken. Dan zal Microsoft ook geen spraak data van jou meer verzamelen. En als je dan toch gebruik wil maken van de dienst en je wilt toch niet alles beluisterd hebben, kan je altijd nog zelf de fragmenten verwijderen van de servers van Microsoft.
Die 'optie' is niet onafhankelijk aan/uit te zetten van 'Online Speech', mag dat wel onder de GDPR?
En er is geen optie voor 'offline modus' per gesprek dat voorgelezen wordt.

En ik weet niet meer of hij automatisch aan staat/stond bij default installatie, maar het zou me niet verbazen.
Als je er over nadenkt is het misschien logisch, maar vanzelfsprekend is het niet; Windows heet al versies lang TTS/Stemherkenning in zijn OS zitten, waarom zou het nu opeens je data gaan versturen?
Ja, er waren geruchten over dat Windows 10 je data verstuurd, maar dat werd door zowel Microsoft als veel Tweakers afgedaan als overdreven.

Je zou ook kunnen denken dat ze alleen meta-data analyseren, of dat het gaat op data bij bug reports die je zelf indient.
(Het verbaast be dan ook dat je zelf geen fouten/correcties kan insturen als de TTS in bijv. Edge een woord verkeerd uitspreekt.)
Verder heeft Microsoft testers in dienst, en beta-producten waarbij gebruikers voor testen gebruikt worden, dus zou je als betalende (zeker als zakelijke) klant mogen verwachten dat je data veilig is.


Verder zoals @freaxje aangeeft worden via Skype veel vertrouwelijke gesprekken gevoerd; ook in de zorg en psychiatrie. Maar ook in het bedrijfsleven is het standaard.
Je zou dus op zijn minst als gebruiker moeten kunnen afdwingen (aan beide kanten) dat bepaalde gesprekken/sessies vertrouwelijk zijn, en dit in de Business versie moeten afkopen.

Op hun site wordt zelfs expliciet de suggestie gewekt dat bijna alle Skype data vertrouwelijk is omdat ze
versleuteld worden,
Does Skype use encryption?
All Skype-to-Skype voice, video, file transfers and instant messages are encrypted. This protects you from potential eavesdropping by malicious users.
If you make a call from Skype to mobile and landline phones, the part of your call that takes place over the PSTN (the ordinary phone network) is not encrypted.

https://support.skype.com...does-skype-use-encryption
Het is niet zo dat dit voor alle Skype calls geldt. Dit geldt voor de Skype calls waarbij een translate bot gebruikt wordt. Dit betekent dat jij in het Nederlands praat tegen een Chinees en hij in het Chinees terug praat maar jij alsnog Nederlands hoort en hij Chinees. Ik meen ergens in de comments gelezen te hebben dat er inderdaad een prompt komt als je dit gaat gebruiken. Ik weet hier verder weinig vanaf, ik gebruik deze functie zelf niet.
Dank je, was me niet duidelijk, wist niet dat dit bestond. (Ken de techniek, maar wist niet dat dit in Skype zat.
De techniek is ook beschikbaar als plug-in voor MS Word en outlook
Daar kunnen ze het blijkbaar wel zonder je data in te hoeven zien:

Data use & privacy
Email translations provided by Translator for Outlook are powered by the online Microsoft Translator service. All data transmissions are secured via SSL, and are never stored, sampled, or shared with any first- or third-party entity. This means that all translation and processing happens on servers in-memory only. (This is also known as the "no-trace" option from Microsoft Translator.
Dat is nog net iets anders. In het geval van Skype is het gesproken taal die wordt omgezet naar tekst en dan wordt vertaalt en dan weer terug omgezet naar gesproken taal. Het deel wat ze samplen net als bij Cortana is het spraak-naar-tekst deel.

Het vertalen en terug naar spraak brengen kunnen ze zelf gigantische datasets voor opbouwen, vooral door het internet te crawlen, zonder jouw persoonlijke data te samplen. Daarom dat het dus ook niet gebruikt wordt binnen die plug-in die jij noemt.
Dat dit nog nieuws is...
"In de algemene voorwaarden schrijft het bedrijf alleen dat het 'gesprekken verzameld en gebruikt worden' om de diensten van Microsoft te verbeteren, en dat die informatie 'geanalyseerd' wordt, maar er staat niet dat daar menselijke gebruikers bij komen kijken."
Goh, immers alleen een mens kan op dit moment nog die informatie zinvol analyseren.
inderdaad maar ja het staat er niet letterlijk in en blijkbaar is dat te moeilijk om te concluderen door sommige. dat het beluisterd wordt door de vertaalmachine is normaal, hoe kan die anders vertalen. Die machine is niet in staat zich zelf te verbeteren als hij geen input krijgt dat hij fout is. en wie anders dan mensen kan een machine op fouten wijzen , een andere vertaal machine ?? dan zou je toch direct die andere machine van de "juiste"/ beter software voorzien.
Het is nog niet zo erg "Microsoft-gebruikers luisteren mee met Skype-vertalingen en Cortana-gesprekken" het zijn "alleen" Microsoft medewerkers die meeluisteren.
Bij Apple en Google waren het inderdaad externe bedrijven die veel meer info in handen kreeg dan je zou willen. Iets dat ook veel meer een AVG probleem en consumentenvertrouwensbreuk is dan wat MS hier doet.

[Reactie gewijzigd door fapkonijntje op 7 augustus 2019 22:37]

Geldt dit ook voor zakelijke accounts?
Hoeveel zijn er nog over?
Ik kan me zo alleen nog maar Alexa van Amazon bedenken. Dus die zal volgende week wel in het nieuws komen of is die ook al geweest.

Als het alleen de medewerkers van Microsoft zelf zijn en niet van een derde partij is het wel al beter dan bij sommige andere die het niet zelf doen.
Alexa was een van de eerste in het nieuws. De vraag is meer, vind ik zelf, hoe anoniem het is. Van Apple is al uitgekomen dat Apple wel zegt dat het anoniem is, maar de praktijk anders uitwijst en er gewoon contactenlijsten en andere data meegaat met de siri recordings. Nu heeft Apple ook een geschiedenis waarin ze veel vaker de fout in gaan, maar ik ben benieuwd naar de rest.

Dit soort dingen waren in 2013 al bekend en nu is het ineens weer nieuws.

[Reactie gewijzigd door fapkonijntje op 7 augustus 2019 22:35]

+1Anoniem: 923789
7 augustus 2019 23:00
Alsof dit nog nieuws is, iedereen die zo'n smart speakertje of een ander spraak gestuurde app de markt heeft opgegooid, luistert domweg mee. Het is nu alleen een "hot item" vanwege de AVG en de commotie die na de Cambridge Analytica debacle is ontstaan, dat iedereen dit oppikt. Anders had er echt geen enkele haan (op de die-hard privacy voorvechters na dan) naar gekraaid . . . :/ :/
NSA is er maar niets bij.
Als overheidsinstanties de wet willen oprekken wb afluitsteren, dan is het moord en brand schreeuwen, want privacy.
Maar als het voor softwareverbetering is, dan is het heel normaal. Tuurlijk.
En nu even de knuppel in het hoenderhok gooien }>
In de algemene voorwaarden schrijft het bedrijf alleen dat het 'gesprekken verzameld en gebruikt worden' om de diensten van Microsoft te verbeteren, en dat die informatie 'geanalyseerd' wordt, maar er staat niet dat daar menselijke gebruikers bij komen kijken.
Er staat ook niet bij dat er geen menselijke gebruikers bij komen kijken.

En nu even serieus. Natuurlijk is het niet netjes dat deze onduidelijkheid er is en dat medewerkers (en aannemers) van Microsoft daardoor toegang krijgen tot geluidsbestanden.
Onduidelijk is ook hoe goed (of slecht) Micosoft het heft gedaan om identificatie van personen te voorkomen.
Vandaag kreeg ik op mijn Android telefoon een notificatie van Google: NOS 'Microsoft luisterd Skye-gesprekken af voor analyse'. Heel raar, ik heb nergens ingesteld dat ik notificatie van google wil (en heb ze het afgelopen jaar ook niet gezien). Ook raar dat ik van google geen bericht heb gekregen dat google hetzelfde doet!

Op dit item kan niet meer gereageerd worden.


Apple iPhone 11 Nintendo Switch Lite LG OLED C9 Google Pixel 4 FIFA 20 Samsung Galaxy S10 Sony PlayStation 5 Japan

'14 '15 '16 '17 2018

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2019 Hosting door True