Voor iedereen was 2020 een heftig jaar, voor zowel individuen als voor bedrijven. Maar voor weinig techbedrijven waren de afgelopen maanden zo'n achtbaanrit als voor Zoom. Dat groeide in korte tijd uit van kleine start-up naar een van de belangrijkste spelers in de verschuiving naar thuiswerken. Dat ging niet zonder slag of stoot. De vraag is of het bedrijf zijn privacy- en securityprioriteiten inmiddels echt op orde heeft.
Het was even wennen voor Magnus Falk om over te stappen naar Zoom, vertelt hij in een interview aan Tweakers. De huidige 'cio advisor' van het videobelbedrijf werkte jarenlang bij grote bedrijven als Credit-Suisse en was cto voor de Britse overheid. Om dan over te stappen naar een bedrijf uit Sillicon Valley is wel even wat anders, zegt hij. In september 2019 starttte hij als chief information officer advisor voor Europa bij Zoom, dat sneller groeide dan het kon bijbenen. De typische agile-cultuur en snelle ontwikkelingen trokken hem aan. Dat was een klein half jaar voordat de coronacrisis volop losbarstte en Zoom naar de zesde versnelling moest schakelen. Falk: "Al dat 'zoombomben' leidde tot de vraag of het überhaupt wel veilig was Zoom te gebruiken."
:strip_exif()/i/2004079016.jpeg?f=imagemedium)
Zooms 2020 kwam met hoge ups en lage downs. Toen de eerste golf van de coronacrisis in maart uitbrak, moest de wereld halsoverkop op zoek naar betrouwbare communicatieapps. Sommige daarvan zoals House Party leken even die 'strijd' te winnen, maar uiteindelijk bleek het Zoom dat een van de populairste apps werd voor onderlinge communicatie. Dat kwam grotendeels omdat de applicatie al bij zakelijke gebruikers populair was. In tegenstelling tot de concurrerende apps van Google en Microsoft, was het bij Zoom direct duidelijk welke software je nodig had. Je hoefde niet mee te worstelen met Googles identiteitscrisis rondom communicatie-apps, of tussen het zakelijke Teams of het persoonlijke Skype of toch weer het zakelijke Skype For Business. Zoom was Zoom, een videobeldienst die je zowel met als zonder account kon gebruiken en die zowel via software als in de browser werkte. Het was een belangrijke reden dat Zoom al snel van enkele tientallen miljoenen naar 200 miljoen actieve maandelijkse gebruikers groeide.
Meer servers, meer bandbreedte
Zoom moest onverwacht snel groeien. Aanvankelijk leek dat best goed te gaan. "Het platform zelf hoefde niet eens zo ingrijpend te veranderen", zegt Falk. "Het is altijd al specifiek gebouwd om hard te groeien; in theorie is het oneindig schaalbaar. Uiteindelijk is het ook maar een api die in een bepaald product wordt geïntegreerd. Voor dat product maakt het niet uit of één persoon het gebruikt of driehonderd miljoen." Waar het na een tijdje moeilijk werd, zegt Falk, was waar 'de technologie de harde capaciteit tegenkomt'. "Verbindingen bijvoorbeeld. Je hebt uiteindelijk gewoon veel poorten in een datacentrum nodig, meer multimediarouters en zone controllers en gewoonweg veel hardware en bandbreedte."
De eerste uitdaging van het bedrijf was dus om, in de woorden van Falk, 'duizenden en duizenden virtuele servers' op te zetten die met name in de avonden alle gesprekken konden afhandelen. Zoom bouwde daarvoor meer datacentra; het aantal ging van 15 vóór de coronacrisis naar 19 nu. "We wilden ook dat die datacentra nooit boven de vijftig procent van hun maximale capaciteit uitkwamen. Op het moment dat ze meer dan dat moesten afhandelen, zetten we er nieuwe hardware bij."
En toegegeven, die aanpak werkte. Van alle problemen waar Zoom sindsdien mee te maken kreeg waren verbindingsproblemen geen onderdeel. Maar na de initiële groei begon de publieke opinie over Zoom wel langzaam maar zeker te veranderen. De problemen begonnen zich op te stapelen. Soms waren het kleine problemen, zoals dat UNC-paths klikbaar waren en daardoor links naar externe servers kunnen worden geopend of dat gebruikers via Company Directories konden worden gevonden. Soms ging het om grote problemen, zoals het opzetten van lokale servers op macOS of het feit dat Zoom niet eerlijk was over de versleuteling van het platform. In het voorjaar nam de ophef over Zoom in rap tempo toe.
Zoom kwam in een 'narratief zwart gat'. Alles wat er over het bedrijf in de media verscheen, leek voornamelijk negatief. Het is hetzelfde probleem als waar een paar jaar geleden Uber en meer recent Facebook mee te maken kregen. De eerste signalen begonnen eind maart al, toen een veelvuldig gedeeld verhaal van Motherboard beschreef hoe de Zoom-app op iOS data naar Facebook stuurde. Dat was het resultaat van een overblijfsel van een Facebook-sdk die eerder in Zoom was gezet maar later weer werd verwijderd.
Fouten gemaakt
Falk erkent meteen dat het bedrijf 'fouten heeft gemaakt' - hij noemt het al vroeg in het interview, nog voor we er goed en wel naar kunnen vragen, en het is duidelijk dat Zoom nog steeds midden in een pr-offensief zit. Falk wijst de omgang met de media dan ook al snel aan als een van de problemen binnen het bedrijf. "We hebben die media in het begin slecht aangesproken. Veel mensen hadden vragen over dingen die ze op internet hadden gelezen en wilden die factchecken door aan te kloppen bij het Amerikaanse persteam. Daar kregen ze vaak geen antwoord. We hebben flink meer aan pr moeten doen."
Veel van die vragen hadden te maken met de oplopende hoeveelheid bugs en beveiligingsproblemen in de app. De bekendste bug, die je ook als feature zou kunnen zien, leverde het grootste hoofdpijndossier op voor het bedrijf: de willekeurig aangemaakte links om een meeting te starten. Naast frustratie kreeg de wereld er ook een nieuw woord voor terug. 'Zoombombing' bleek een serieus probleem waar niet alleen Zoom maar ook de gebruikers zelf debet aan waren. "Dat waren geen problemen met de kern van het platform, maar het waren wel dingen die de nieuwe gebruikers opvielen waar we zelf niet bij stilstonden." Een noodoplossing waarbij het meeting-id werd weggehaald uit de url-balk was snel doorgevoerd, en toegegeven, de Britse premier Boris Johnson maakte zelf de fout om een Zoom-meeting inclusief id te tweeten, maar de schade was toen al aangericht. Falk: "Al dat 'zoombomben' leidde tot de vraag of het überhaupt wel veilig was Zoom te gebruiken."
:strip_exif()/i/2004079018.jpeg?f=imagenormal)
Vanaf dat moment leek het bergafwaarts te gaan met het bedrijf. Er werd onder andere een onderzoek ingesteld door Amerikaanse autoriteiten, en overal ter wereld besloten zowel scholen als hele landen het gebruik van Zoom af te raden of zelfs te verbieden. Falk: "Dat was een zwarte periode. Er was ook altijd het risico dat gebruikers plotseling konden beslissen dat het genoeg was. 'Nee sorry, je hebt te veel fouten gemaakt en het werkt niet meer'. Maar dat is niet gebeurd. Gebruikers zeiden gelukkig dat we de juiste beslissingen hadden gemaakt en bleven bij ons."
Groei
Voor een deel waren die problemen te verklaren door de groeiende aandacht voor het platform, zegt Falk. "Zoom is gebouwd als een zakelijke tool. Maar toen de pandemie losbarstte en de freemium-versie veel populairder werd kwamen er miljoenen gebruikers bij waar we het platform niet voor hadden ontworpen. De balans tussen gebruiksvriendelijkheid en veiligheid was toen niet goed."
Toch ziet Falk de problemen van Zoom nog als relatief kleine bugs. Hij noemt het meerdere keren. "We hebben wat fouten gemaakt die we snel hebben gefixt. Dat konden we zo snel omdat het om kleine bugs ging." Ook Alex Stamos, de voormalige chief information security officer van Facebook, die later bij de adviesraad van Zoom kwam, noemde Zooms perikelen in een inmiddels verwijderde tweet nog 'shallow bugs'. Maar waren de bugs wel echt zo shallow? Dingen zoals een meeting-id in de url-balk zijn dat misschien, maar in 2018 zat er bijvoorbeeld een bug in de software waarmee een remote code execution kon worden uitgevoerd bij een slachtoffer. Zoom heeft ook zelf ernstigere overtredingen begaan. Neem bijvoorbeeld het feit dat de dienst op macOS een lokale server installeerde, wat overigens na Stamos' tweet naar buiten kwam. Een lokale server installeren die HTTP GET-requests toestaat, dat zou je zonder moeite ook malware kunnen noemen. Zoom zei zelf dat het ging om een workaround voor de restricties van macOS en bracht een patch uit, maar dat was slechts een pleister op de wond. Pas een dag later, na grote ophef, verwijderde het bedrijf met een nieuwe patch de hele serverfunctie. En bood het natuurlijk weer excuses aan.
Het debacle met de lokale server lijkt symptomatisch voor hoe Zoom wekenlang, ook tot ver in de zomer, omging met problemen. Beveiligingsonderzoekers vinden bugs, Zoom zegt sorry en fixt ze, en een week later begint dat weer van voor af aan met een andere bug. Falk ergert zich er lichtelijk aan. "Het gebeurde regelmatig dat onderzoekers iets vonden en dat direct publiceerden. Dat ziet er eigenlijk nooit goed uit voor zo iemand."
/i/2004079020.png?f=imagenormal)
Ook lang voor de covid-crisis ging het bij Zoom al regelmatig fout. Anderhalf jaar geleden, in de zomer van 2019, ontdekte een beveiligingsonderzoeker een lek in de videoclient. Zoom bood de onderzoeker een beloning aan in een 'privaat bugbountyprogramma', maar onderdeel daarvan was wel dat die het lek stil moest houden. "Het is standaard in de industrie om non-disclosures te vragen voor privébugbountyprogramma's", schreef het bedrijf destijds in een blogpost. Het is een beleid waarvan je zou kunnen zeggen dat het ook in 2019 al achterhaald was. In de meeste bugbountyprogramma's is het inmiddels normaal om de onderzoeker achteraf het recht te geven te publiceren over een kwetsbaarheid. Falk erkent dat het bugbountyprogramma niet optimaal was. En wederom moet hij er namens het bedrijf voor door het stof. "Ons bestaande programma was duidelijk niet goed genoeg." Inmiddels is het bugbountyprogramma aangepast. Ook krijgen externe beveiligingsonderzoekers toegang tot de code om bugs op te sporen.
Achter de feiten
De wijziging van het bugbountyprogramma is nog een voorbeeld van hoe Zoom maandenlang achter de feiten aan leek te lopen. Een fout maken, het probleem fixen, en vooral veel sorry zeggen. Om dat te veranderen lijkt een verandering in de bedrijfscultuur nodig. Gebeurde dat ook?
Falk denkt vooral aan de omslag in de beeldvorming nadat Zoom cryptografiebedrijf Keybase overnam. "Dat was het moment dat het narratief en het perspectief van klanten veranderde", zegt hij. Dat kwam onder andere omdat de acquisitie Zoom moest helpen bij het implementeren van echte eind-tot-eind-encryptie, waar het jarenlang over had gelogen en wat wederom voor een schandaal zorgde. "Het was op dat moment dat we stopten met het inhalen van onze problemen en klanten enthousiaster werden over nieuwe ontwikkelingen. We zagen bijvoorbeeld dat mensen meer wilden weten over de verschillende fases van hoe we het implementeerden, en we publiceerden specificaties op GitHub."
Een cultuurverandering, die ziet Falk niet zo. In plaats daarvan noemt hij wat typische start-uptermen zoals een 'Happy Culture'-groep die bij het bedrijf werkt. "Eric Yuan, onze ceo, bouwde Zoom vanuit een frustratie over de beperkingen van Webex, maar ook om mensen gelukkig te maken. En onze gebruikers gelukkig maken zit overal in ons bedrijf en onze werkwijze. Dat bepaalt veel van wat er gebeurt en het is niet veranderd." Gebrek aan security maakt mensen dan weer niet gelukkig, stelt Falk. "Het maakt mensen angstig. De beveiliging goed regelen was belangrijk om die angst weg te nemen."
:strip_exif()/i/2004079022.jpeg?f=imagemedium)
Uiteraard nam Zoom wel bepaalde stappen om beveiliging en privacy op het platform meer aandacht te geven. Dat gebeurde met name in april. Toen besloot het bedrijf, na een opeenvolging van schandalen en schandaaltjes, dat het tijd was om door te pakken. Er werden negentig dagen ingeroosterd waarin het bedrijf geen nieuwe functies meer zou ontwikkelen, maar alleen nog maar beveiligingsproblemen zou oplossen. Daarbij werden ook processen aangepast, zegt Falk. "We hebben een nieuwe chief information security officer aangenomen, en een nieuwe technisch directeur. En we hebben nieuwe stappen geïntroduceerd in veilig programmeren. Zo wordt code voortaan gedubbelcheckt en is er meer focus op geautomatiseerd testen."
Van de andere kant lijken het vooral oppervlakkige veranderingen te zijn die Zoom doorvoerde. Falk: "Sommige dingen zijn wel veranderd, maar de cultuur is grotendeels hetzelfde gebleven door ons vooral te blijven richten op geluk. Daar is security nu wel deel van geworden. Het gaat meer om de manier waarop we kunnen inspelen op de verwachtingen van de community."
Hetzelfde geldt voor de adviesraad met beveiligingsexperts die Zoom in april aanstelde. Daar zaten onder andere ciso's in van grote bedrijven als VMware, Netflix en Uber, en ex-Facebook-ciso Alex Stamos. De adviesraad moest ervoor zorgen dat 'privacy en beveiliging vooraan gaan staan bij alles wat Zoom doet', schreef ceo Eric Yuan destijds. Hoe groot de invloed is geweest van die groep is moeilijk te zeggen. Falk noemt vooral kleine voorbeelden. "Neem de cijfers die je moet invullen voor je een Zoom-meeting in gaat. Die werden op een gegeven moment verplicht. Onze technici noemden dat altijd een 'password'. Daar greep onze ciso op in. Die zei dat het woord 'password' in de industrie een vaste definitie heeft, namelijk een onderdeel van credentials. Daarna hebben we die term veranderd naar 'passcode'. Het zijn kleine dingen, maar die verwijzen naar een interessant debat rondom functies die we goed moeten krijgen."
Falk denkt dat het goed is om op zulk detailniveau bezig te zijn met functies. "Het ding met security is dat je tweehonderd dingen goed moet krijgen. Als je alleen maar praat over grote principes en disciplines loop je het risico alleen op strategisch niveau over beveiliging te praten en dan krijg je niks gedaan. Je moet een balans weten te vinden."
/i/2006246508.png?f=fpa)
/i/2004634812.png?f=fpa)
:strip_exif()/i/2003792072.jpeg?f=fpa)
:strip_exif()/i/2002914792.jpeg?f=fpa)
/i/1234789613.png?f=fpa)
:strip_exif()/u/260741/crop5a4e4cc5a1f75_cropped.gif?f=community){kind=small}
:strip_icc():strip_exif()/u/448966/crop62a741840cd69_cropped.jpg?f=community){kind=small}
/u/59144/aMSN_96.png?f=community){kind=small}
:strip_icc():strip_exif()/u/269918/Cerberus60x60.jpg?f=community){kind=small}
/u/93629/crop5f5b31620d196_cropped.png?f=community){kind=small}
/u/75437/crop5daf1210eb5fc.png?f=community){kind=small}
:strip_icc():strip_exif()/u/277895/crop5eda5f3273e75_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/81611/headcrop.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/306073/crop5657742525be6_cropped.jpeg?f=community){kind=small}
:strip_icc():strip_exif()/u/449308/autowp_ru_scania_logo_60.jpg?f=community){kind=logo}
:strip_icc():strip_exif()/u/386815/296252.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/112916/51.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/4167/bacall8.jpg?f=community){kind=small}
:strip_icc():strip_exif()/u/214632/crop6371f178b5904_cropped.jpg?f=community){kind=small}
/u/12607/crop5fa30891b335d.png?f=community){kind=small}
:strip_exif()/u/403796/avatar-small.gif?f=community){kind=avatar}