Netflix maakt tool voor verzamelen data opensource

Netflix heeft een interne tool die het gebruikt om data te verzamelen en door te sturen opensource gemaakt. De tool kan worden gebruikt om bijvoorbeeld grote hoeveelheden serverlogs te verzamelen en naar een centrale server te sturen.

De tool, met de naam Suro, kan omgaan met verschillende soorten data. Suro wordt door Netflix gebruikt om de 1,5 miljoen 'server-events' per seconde te verzamelen. Het gaat dan bijvoorbeeld om serverlogs, activiteiten van gebruikers of andere operationele gegevens. Die worden door Suro verzameld en kunnen daarna naar verschillende bestemmingen worden doorgestuurd, zoals een Hadoop-cluster of een ElasticSearch-cluster, waarmee trends zoals storingen inzichtelijk kunnen worden gemaakt.

Vanaf nu is de tool opensource beschikbaar, zo heeft Netflix bekendgemaakt. Suro is zelf overigens ook gebaseerd op een opensource-tool: het is een ver doorontwikkelde en aangepaste versie van Chukwa, een tool van de Apache Foundation voor het verzamelen van data. Volgens Netflix kan één Suro-instance 60.000 berichten per seconde verwerken.

Waarom Netflix de tool opensource maakt, is niet duidelijk. Het gebeurt vaker dat bedrijven hun tools opensource maken, zoals Facebook bijvoorbeeld deed met zijn php-versneller en database-software Cassandra.

Reacties (20)

[RoestVrijStaal]

Geen link in het artikel naar het Suro project zelf, dus bij deze:
https://github.com/netflix/suro

[Aerophobia1]

Meestal gaan opensource applicaties enorm vooruit in functionaliteit en veiligheid.
Is voor Netflix een goedkope manier hun product te verbeteren.

[simonts]

Het doel van opensource software is om er SAMEN beter van te worden, ik denk dat Netflix hoopt dat we het samen beter kunnen maken.
Daar profiteren wij van maar ook Netflix van!

[Verwijderd]

Ja, maar toch jammer dat ze hun recommender system niet open source hebben gemaakt...
http://en.wikipedia.org/w..._system#The_Netflix_Prize

One of the key events that energized research in recommender systems was the Netflix prize. From 2006 to 2009, Netflix sponsored a competition, offering a grand prize of $1,000,000 to the team that could take an offered dataset of over 100 million movie ratings and return recommendations that were 10% more accurate than those offered by the company's existing recommender system. This competition energized the search for new and more accurate algorithms. On 21 September 2009, the grand prize of US$1,000,000 was given to the BellKor's Pragmatic Chaos team.

[Junketsu]

Het bestaansrecht van Netflix bestaat uit 1) de vele contracten die ze hebben met filmmaatschappijen waardoor ze de films aan kunnen bieden en 2) het geavanceeerde algoritme om video's aan te bevelen.

Je gaat toch niet je bestaansrecht uit handen geven? Dat is hetzelfde als Google haar indexeringsalgoritme openbaar maakt. Dan kunnen ze wel opdoeken want dan komen er 1) tientallen klonen van Google en 2) wordt dit algoritme misbruikt door SEO-experts en is het algoritme uiteindelijk waardeloos.

Het is leuk dat bedrijven bepaalde tools open-source maken, maar laten we wel realistisch blijven.

[Bram S]

Dat het jammer is vind ik nogal relatief. Opensource aanhangers (waaronder ik mezelf ook zeker reken) zien graag een open wereld waarin veel (alles?) transparant en inzichtelijk is.

De huidige samenleving is dat niet of slechts in beperkte mate. Als het klopt wat het artikel stelt dat de laatste tijd meer zaken opensource worden gemaakt is dat erg mooi en aan te moedigen, maar nog steeds opmerkelijk in een wereld waarin veel businessmodellen zijn geent op het afschermen van intellectueel eigendom.

Ik vind het dan ook wat kort door de bocht om het jammer te noemen dat ze iets waar ze zelf "veel" geld voor op tafel hebben gelegd niet prijsgeven, eerder mooi om te zien dat bedrijven in beginnen te zien dat een meer open model van bedrijfsvoering niet per definitie minder inkomsten betekent.

[Perkouw]

Waarom Netflix de tool opensource maakt, is niet duidelijk.

Wellicht om enige inzage te geven hoe ze als bedrijf zijnde data verzamelen? Al zal dit ongetwijfeld één van de vele manieren zijn die ze toepassen om data te verzamelen.

[Yggdrasil]

Netflix heeft een historie van het openbaar beschikbaar maken van hun interne tooling. Zie hun interessante tech-blog en bijvoorbeeld tools als de beroemde Chaos Monkey, een applicatie die willekeurig servers uitschakelt om daarmee Operations te dwingen altijd redundant te werken en altijd klaar te zijn voor storingen.

Inzage geven in hoe ze als bedrijf data verzamelen lijkt me niet de reden, tenminste niet als je dit bedoelt in het bredere kader van de NSA onthullingen. Dit zegt immers niks over welke data ze verzamelen, hoe lang, etc. Elk web bedrijf heeft te maken met grote aantallen logs en kengetallen om hun dienstverlening in orde te houden door storingen in de infrastructuur te vinden, bugs te ontdekken en bijv. capacityplanning te doen. Ook hun business-metrics zullen voor een deel uit deze logs bepaald worden.

Het openbaar maken van deze software betekend alleen maar dat ze hun eigen systeem (of deel daarvan) hebben gebouwd i.p.v. een bestaand systeem zoals Splunk toe te passen. Ook mijn werkgever gebruikt een combinatie van open-source tools voor het transporteren, filteren en doorzoekbaar maken van logs, zoals Logstash, RabbitMQ, Redis, Elasticsearch. Het gaat bij ons al om miljoenen events per dag. Ik kan me niet voorstellen hoeveel data Netflix verwerkt.

[SherlockHolmes]

Mooi dat het opensource is, iets meer transparantie, alleen maar toe te juichen, zeker gezien het nieuws de afgelopen tijd.

[RobIII]

Het is een tool die data ('events') verzamelt. Wélke data ze verzamelen en wat ze er mee doen is daarmee niet automatisch 'transparant'.

[SherlockHolmes]

Dat zeg ik ook niet, feit is gewoon dat het iets transparanter is, echter nog steeds verre van transparant.

[RobIII]

Je zegt 't ook niet, je impliceert 't alleen

"iets meer transparantie ... zeker gezien het nieuws de afgelopen tijd"

En ik verduidelijk 't dan even voor de rest van de lezers

[Reactie gewijzigd door RobIII op 27 juli 2024 08:32]

[ameesters]

Waarom Netflix de tool opensource maakt, is niet duidelijk.

Beste Tweakers.net,

Lees anders even: http://catb.org/esr/writi...-bazaar/cathedral-bazaar/

Dat is onder andere de doorslag gevende factor geweest voor Netscape om de Mozilla Foundation op te richten en firefox FOSS te maken.

[RobIII]

Beste ameesters,

Omdat Netscape die reden(en) had heeft Netflix automatisch dezelfde reden(en)? Zolang Netflix geen uitspraken doet over 't waarom blijft 't speculeren en dat is precies wat 't artikel aangeeft.

[ameesters]

Beste RobIII,

Als je CathB heb gelezen weet je dat dit document alle voordelen van een opensource programma omschrijft, waardoor er met een aan zekerheid grenzende waarschijnlijkheid, gezegt kan worden dat, met welke reden zij ook komen, het binnen de context van dit document zal passen.

[RobIII]

Beste ameesters,

"met een aan zekerheid grenzende waarschijnlijkheid" != zekerheid. En dus: "Waarom Netflix de tool opensource maakt, is niet duidelijk.". "Alle voordelen van een opensource" zijn leuk, maar wélke precies de doorslag gaf (aangenomen dat de reden erbij staat) is (nog) niet door Netflix aangegeven. Zolang Netflix geen uitspraken doet blijft 't dus speculeren.

[Timmmeeehhh]

Natuurlijk mooi dat het open source is geworden voor ontwikkelaars, kunnen anderen doorbouwen op de code en helpen met verbeteren. Maar maakt dit het weer niet veel makkelijker om dataloggers te ontwikkelen voor kwaadwillenden?

[Barr]

Ja, maar de gaten worden zo ook makkelijker gedicht. Security through obscurity is ook meestal geen goede methode wat betreft veiligheid.

[Keneo]

Dus als ik het goed begrijp is dit een alternatief voor het sturen van syslogs gelf messages naar de logservers.

Ik zou graag zien hoe het zich verhoud t.o.v. bv. RabbitMQ of zeromq