Hyves leunt met nieuwe api zwaar op open standaarden

Hyves heeft dinsdag zijn eerste officiële api uitgebracht. De sociale netwerksite hoopt met het ontwikkelpakket anderen aan te sporen om nieuwe toepassingen te bouwen. Daarbij leunt het zwaar op open standaarden en opensource-software.

De api met versienummer 1.0 is na een bètaperiode van een kleine drie maanden vrijgegeven. Het zou ontwikkelaars gemakkelijk toegang moeten geven tot de diverse Hyves-gegevens van de bijna zes miljoen ingeschreven leden. In de eerste versie kunnen onder andere gebruikersinformatie, vriendenlijstjes, fotoalbums en andere profielgegevens worden uitgelezen.

Hyves is naar eigen zeggen een warm voorstander van opensource-software en open standaarden. Het serverpark van twaalfhonderd machines draait op Gentoo Linux en voor de implementatie van het chatplatform hebben de ontwikkelaars destijds gekozen voor het open chatprotocol Xmpp. Ook bij de bouw van de api is gekozen voor software en standaarden die door een breed publiek worden gebruikt en doorontwikkeld. Zo heeft het api-ontwikkelteam gebruik gemaakt van OAuth, een nog jong en open protocol dat de authenticatie voor het extern aanroepen van data voor zijn rekening neemt.

Hyves zal in het tweede kwartaal ook het Opensocial-framework implementeren dat vorig jaar door Google op het web werd losgelaten. Raymond Spanjar, mede-oprichter van Hyves, laat aan Tweakers.net weten dat de api hierdoor het leven voor programmeurs weer iets eenvoudiger zal maken. Zo kan een ontwikkelaar een applicatie bouwen die niet alleen bij MySpace profielgegevens uitleest, maar ook op bijvoorbeeld LinkedIn of Hyves data kan opvragen zonder dat lastige en sitespecifieke aanpassingen nodig zijn. "Wij kiezen doelbewust voor opensource," zo vertelt Spanjar, "Je kunt gebruik maken van de kwaliteiten van anderen en zij op hun beurt weer van jouw kennis. Bovendien kunnen nichegroepen verrassende nieuwe ideeën aanleveren."

Het ontwikkelteam levert ook een bijdrage aan Shindig, de serversoftware die nodig is voor het hosten van het OpenSocial-framework. Spanjar laat verder weten dat in toekomstige versies van de api alle functionaliteit van zijn sociale netwerksite uitgelezen moet kunnen worden, zo lang de privacy of de spamgevoeligheid van de Hyves-gebruikers niet in het geding is. Spanjar zegt: "Het hele ontwikkeltraject is ons eigenlijk erg meegevallen. Je moet er aanvankelijk behoorlijk wat tijd instoppen, maar uiteindelijk bespaart het je juist enorm veel tijd."

Nu de api klaar is kunnen zowel hobbyisten als professionals aan de slag met de gedocumenteerde code. De eerste voorbeelden van mogelijke toepassingen zijn al op de sociale netwerksite te vinden en een eerste commerciële toepassing is al bekend: Hyves-content kan door Tele2-abonnees op de televisie worden bekeken.

Volgens Spanjar ligt de toekomst van zijn site vooral bij het slim gaan benutten van de steeds mobieler wordende gebruiker. "Social networking komt pas echt tot zijn recht tijdens het uitgaan, dus wanneer je sociaal actief bezig bent," aldus Spanjar. De snelgroeiende portal blijft daarom in het offensief. Zo werken Java-ontwikkelaars momenteel aan een applet waarmee Hyves-leden in de toekomst op hun mobieltje zelf kunnen aangeven waar zij precies zijn en wat ze op dat moment uitspoken. De steeds vaker in mobiele telefoons geïntegreerde gps-modules en de oprukkende flatfee-abonnementen voor mobiel internet moeten deze ontwikkeling uiteindelijk in een stroomversnelling gaan brengen.

Reacties (63)

[DMP.cc]

Het lijkt mij dat iemand met verkeerde bedoelingen op deze manier heel makkelijk veel informatie over mensen kan gaan vinden.

Hij schrijft een programma die speurt de hyves af naar nuttige info (ook bijvoorbeeld uit krabbels sleutelwoorden) zo kom je heel veel te weten over een bepaald persoon en wat deze zoal doet, en zou je bijvoorbeeld zijn identiteit kunnen overnemen. (of een pinpas laten blokkeren)

En ja ik weet dat je zelf je privacy level kan instellen, maar een te hoog level maakt het hele principe van hyves ongedaan (als je naar bekende zoekt en je kan niet eens zien of die gene wel is wie je denkt dat het is, wat heb je er dan aan?).

kortom ik denk dat het kwaadwillenden wel heel erg makkelijk wordt gemaakt

[graey]

Hangt er net vanaf of je profiel alleen zichtbaar is voor vrienden, en hoeveel informatie je online zet. Op het moment dat je profiel (of een gedeelte daarvan) voor iedereen zichtbaar is en informatie bevat waarmee iemand je identiteit kan overnemen of een pinpas kan laten blokkeren zit je zelf fout, daar valt Hyves alleen te verwijten dat ze misschien meer duidelijk moeten aangeven dat je (tot op zekere hoogte) geen privé-informatie moet publiceren.

[Tom]

Hyves vind ik sowieso eng. Zeker als je je bedenkt hoeveel ze weten, ik denk niet dat de gemiddelde Hyver daar bij stilstaat. Van iedereen weten ze alle interesses, wie in welke merken geinteresseerd is, wie elkaar kent, waarvan je elkaar kent, je persoonlijke foto's en ga zo maar door. Grappig dat iedereen die informatie zomaar vrijwillig vrijgeeft aan een bedrijf.

Ik ben benieuwd hoe ze daar in de toekomst mee omgaan. Ze zullen nu wel geld binnenkrijgen via adverteerders en dat is prima, maar zodra ze gegevens gaan doorverkopen (middels gericht adverteren, want daar vraagt een dergelijke database om) dan haak ik af. Of zoals Schoolbank destijds flikte, ineens geld vragen terwijl ze iedereen die database mooi hadden laten vullen. Toen ben ik ook afgehaakt en alles verwijderd.

Sowieso snap ik niet dat Hyves zo populair is geworden. De user interface is ontzettend slecht. Er is nooit iemand geweest die daar eens serieus naar gekeken heeft, het is een zooitje van losse linkjes en je blijft zoeken als je er weinig komt. Grafisch is het gigantisch lelijk (bovendien kun je er weinig tot je op 'toon in standaard layout' klikt bij de meeste pagina's). Het aantal errors is om te huilen. Bij het verwijderen moet je meerdere keren klikken alvorens het doorgevoerd is. En het is zo traag als de pest op sommige momenten.

Ik gun iedereen succes en ze zullen er best hard werken, maar aan de site an sich is er weinig van te merken. Overigens heb ik ook al een jaar of twee Hyves, ben er (ondanks bovenstaande tekst) dus niet op 'tegen' want het idee is wel goed maar de uitwerking vind ik erg slecht. Ik vind het grappig om contact te hebben met oude bekenden, en ik reageer netjes op de krabbels, maar echt voor m'n plezier kom ik er niet.

Wat betreft die API, we zullen zien. Daar sta ik opzich positief tegenover, werkt bij Flickr en andere sites die zoiets aanbieden ook prima. Je kunt zelf de privacy instellingen bepalen.

[Amzika]

Het moge onderhand toch meer dan overduidelijk zijn dat het technisch betere product lang niet altijd 'wint'. Je moet als developer/programmeur/whatever nooit, maar dan ook nooit de (on)logica van de gebruiker onderschatten, dan blijf je niet lang gezond van geest namelijk

[flowerp]

Je moet als developer/programmeur/whatever nooit, maar dan ook nooit de (on)logica van de gebruiker onderschatten, dan blijf je niet lang gezond van geest namelijk

Dat is inderdaad een zeer wijze raad!

[rodgermoore]

Zo, weer een reden om niet onder m'n échte naam en gegevens een Hyves profieltje te beheren...

[diederik77]

Waarom zou je er niet voor kiezen om veel persoonlijke informatie beschikbaar te maken?
Veel mensen hechten heel veel waarde aan privacy, maar ik zie in dit geval niet zozeer waarom dat zo belangrijk is.

Als je iets op je hyves plaatst kies je daar zelf voor. Als ik op mijn hyves zet wat m'n hobbies zijn, wie mijn vrienden zijn en wat ik zoal doe, kunnen anderen dat lezen.
Nou én?
Eigenlijk vind ik het alleen maar fijn. Ik heb niet echt dingen te verbergen, en als ik die wel heb zet ik ze er gewoon niet op. En hoe meer mensen weten wie/hoe ik echt ben, hoe beter.
Als een werkgever/docent dat leest: mij best
Als vrienden het lezen: des te beter
Als een volslagen vreemde het leest: moet hij weten.

Maar dat is slechts imho.
Voor anderen: maak gewoon je profiel onzichtbaar voor niet-vrienden.

[Neo_TGP]

Kijk, eindelijk iemand die het wel begrijpt, je kiest er zelf voor hoeveel informatie je over jezelf vrijgeeft. Van schending van privacy op internet is niet heel erg snel sprake als je zelf een beetje op blijft letten met wat je doet. Als je zelf alles open en bloot op bijvoorbeeld Hyves zet heb je geen recht van spreken als je daar (later) ooit mee geconfronteerd word, of als je niet aangenomen word bij je droombaan omdat je op Hyves zo nodig moest opscheppen over je drugs / feest activiteiten.

Als je je gegevens bij bijvoorbeeld een webwinkel achterlaat en dat die dan vervolgens op straat komen is wel een kwalijke zaak, maar dat is weer een heel ander verhaal, maar sites zoals Hyves heb je helemaal zelf in de hand.

[kozue]

Inderdaad, het is volledig persoons-gebonden of iemand wel of niet van zo'n site gebruik wil maken. Ik vind het persoonlijk niet zo'n fijn idee als een potentiële werkgever allemaal zooi van 5 jaar terug over mij te weten komt, die misschien helemaal niet zo positief is voor mijn toekomstige baan.
Vergeet niet dat het internet een vrijwel oneindig geheugen heeft. Wat er op staat komt er nooit meer vanaf. Als je in een dronken bui een rare foto plaatst, en je krijgt daar later spijt van, kun je het er wel vanaf halen, maar vind je m hoogstwaarschijnlijk ooit weer eens terug in de google cache, archive.org of de site van iemand die rare fotos verzamelt, om maar eens een paar dingen te noemen.

Bovendien, hoe meer je in je profile zet, hoe minder je over te praten heb IRL. Ik heb vaak genoeg gehoord van mensen die in plaats van iets te vertellen aan hun vrienden, gewoon een linkje per mail sturen naar iets wat ze op hyves/myspace/whatever hebben gezet. "Want het is makkelijker om het 1 keer te typen dan om het iedereen te vertellen", toch? Hoezo social networking? Dat soort dingen lijken me eerder een degradatie van sociale contacten.

[4play]

je kan ook je gegevens redelijk goed afschermen

Mijn gegevens zijn alleen leesbaar voor mensen die ik als vriend heb aangemerkt.

Dat is best fijn maar voor 9 van de 10 mensen kan je gewoon alles lezen enzo ja, beetje raar IMHO

[mae-t.net]

Je kan ze redelijk goed afschermen, denk je... Maar de instelmogelijkheden lopen tot nu toe altijd achter bij de features (configuratiesysteem is een chaos en er staan dingen in die je nergens kan wijzigen) en de slordige en domme bugjes zijn niet van de lucht. Het zou me absoluut niet verbazen als ze ook hierbij ergens nog niet ontdekte of wel ontdekte maar nog niet gefixte steekjes hebben laten vallen.

Op deze technische puntjes na niets ten nadele van Hyves, begrijp me goed, want het is conceptueel en inhoudelijk een prima site. Maar hun ontwikkelafdeling is kennelijk minder kundig dan hun denktank en commerciele afdeling.

[Reactie gewijzigd door mae-t.net op 22 juli 2024 14:31]

[kozue]

Omdat jij denkt dat er vast wel ergens nog niet gefixte bugjes zitten hebben ze geen goede ontwikkelafdeling? Lijkt me een beetje vooroordelen trekken op basis van verzonnen argumenten...
Gezien ze linux gebruiken voor hun serverpark, en hun voorkeur voor open source software, weten ze blijkbaar wel wat ze aan het doen zijn. Aangezien iedereen namelijk de source code kan bekijken zit er geen rare security-by-obscurity meuk in, zoals gebruikelijk bij closed source software, en zitten ze ook niet zelf het wiel opnieuw uit te vinden maar gebruiken ze gewoon code en protocollen (zoas xmpp) die al flink getest zijn door de hele wereld. In open source zit over het algemeen een stuk minder bugs dan als ze iets zelf zouden maken.

Neemt overigens niet weg dat ik zelf nooit een profile op zo'n site aan zou maken. Niet omdat ik hun code niet vertrouw, maar omdat het hele concept (mijn gegevens op internet dumpen) me niet aanstaat, uit privacy overwegingen. Geld niet alleen voor hyves, maar voor social networking sites in het algemeen.

[Verwijderd]

Noem 1 goede reden om het uberhaupt te doen?

Aan de ene kant zijn er mensen die bij elke bijna schending al roepen dat hun privacy zwaar in het geding is, en een andere groep mensen zet vrijwillig zijn gegevens (lees, HEEL hun persoonlijkheid) op een hyve (niet eens moeilijk te vinden).

Hoe makkelijk is identiteitsdiefstal eigenlijk met die gegevens :x

[Verwijderd]

Hyves wil maar door en door en niet op de concurrentie als Myspace (die nu ook in Nederland echt aan de slag is) achter blijven. Daarom ontwikkelen ze nu deze api. Waar ze in feite echt mee aan de slag zouden moeten gaan is het herontwikkelen van de gehele site. Heel dat AJAX moeten ze dumpen, voegt wat mij betreft weinig toe aan gebruikersvriendelijkheid. De layout is om te huilen, alsmede het aantal klikt om ergens te komen (wanneer AJAX in het menu weer eens niet mee wil helpen). Om maar over de traagheid te zwijgen. Ik begrijp gewoon niet dat Hyves met deze gebruikersvriendelijkheid zoveel gebruikers heeft verworven. De gebruikersinterface kan veel efficienter worden gemaakt. Zelf maak ik weinig gebruik van Hyves door bovenstaande problemen. Wanneer myspace echt door kan stoten in Nederland denk ik dat een interface het verschil kan maken. We zullen zien wat de toekomst brengt.

[TrekVogel]

MySpace kan wel een beter interface hebben volgens jou maar dat zegt niet zoveel. Mac OS X heeft volgens heel veel mensen een betere interface dan Windows maar toch gebruikt meer dan 90% windows. Gewoonten verander je niet zomaar en als 6 miljoen mensen aan Hyves gewend zijn zal het niet makkelijk zijn om ze naar MySpace over te laten gaan. MySpace zal toch echt dingen moeten bieden die Hyves niet heeft en mensen perse willen, doen ze dat niet dan kunnen ze het vergeten. Ik weet natuurlijk niet of dat gaat gebeuren maar in veel markten presteert MySpace minder dan de concurrentie.

Nederland is wat dat betreft lastig. Over het algemeen wordt er massaal voor één systeem gekozen. Kijk maar naar MSN messenger, in geen enkel land heeft MSN zo'n groot marktaandeel. Het is hier gewoon de standaard. Als iedereen eenmaal op één netwerk zit is het moeilijk om ze over te laten stappen.

[- peter -]

Klinkt allemaal erg mooi. Daar zullen vast ontwikkelaars blij mee zijn.

Ik keek wel even op bij de 1200 servers die nodig voor de site zijn. Is dat niet een beetje heel erg veel??

[Frash]

Hyves staat niet bepaald bekend om hun codekwaliteiten (en hun efficiente schaalbaarheidstechieken). Zo zochten ze jaren naar "HBO ITers" omdat dat "alleen de beste" zijn. Een beetje pro weet dat HBO geen garantie is voor kwaliteit. Dingen als schaalbaarheid van code en servers leer je niet op hedendaagse HBO, daar moet je passie voor hebben en dagelijks tutorial sites voor afstruinen en/of lezingen voor bijwonen. Ook het frontend is verre van perfect; een niet-validerende tabellenspaghetti samen met lukraak ingeladen javascript frameworks. (foutmelding- en servercall-galore)

Neemt niet weg dat het heel knap is wat ze hebben bereikt vanuit een ondernemersperspectief.

[Reactie gewijzigd door Frash op 22 juli 2024 14:31]

[Verwijderd]

Ze zoeken nog steeds alleen maar HBO IT'ers. Kan het begrijpen aan een kant, maar je heb niks aan een paar mensen met alleen een mooi diploma'tje en geen gevoel/passie voor het vak. Meeste mensen die ik ken en goed kunnen programmeren hebben "maar" een MBO diploma maar hebben de meeste kennis zelf ontwikkeld door thuis continue bezig te zijn.

[flowerp]

Ze zoeken nog steeds alleen maar HBO IT'ers

Weet je dat zeker? Ik bedoel, slaan ze de WO IT'ers over en gaan ze doelbewust alleen op de HBO'ers af? Volgens mij is dat onzin. Natuurlijk wil Hyves ook gewoon de WO'ers. Juist!

aan een paar mensen met alleen een mooi diploma'tje en geen gevoel/passie voor het vak.

Misschien moet deze discussie niet hier gehouden worden; maar ik fungeer zelf als lead developer en heb ook jaren lang ervaring met programmeren en het hele ontwikkel proces. In de praktijk zoek ik mensen voor mijn team die -en- een diploma hebben -en- gevoel/passie. Mensen die echt voor hun vaak gaan hebben in de regel een diploma. Zo simpel is het gewoon. Als je serieus met je vak bezig bent en er helemaal voor gaat, waarom zou je dan niet je diploma halen.

Andersom zie ik dikwijls dat mensen die op zich wel passie lijken te hebben voor het vak, maar geen diploma hebben toch wel behoorlijk wat bagage missen. Een opleiding op HBO of WO niveau laat je toch kennis maken met dingen waar je in je eigen betweterigheid niet naar kijkt. Selfmade mensen denken vrij vaak het beter te weten. Theorie over turing-machines? Onzin! Ik wil gewoon die nieuwste PHP versie helemaal kennen! Complexitieit van algoritmes? Java heeft toch een uitstekende sort functie? Ik hoef dat algoritme gedoe helemaal niet zelf te kennen!

Als ik mensen zulke uitspraken hoor doen weet ik al genoeg eigenlijk...

[Swelson]

En het gebruiksgemak

Dat vind ik echt slecht. Niet dat ik niet overweg kan met die site, juist tegenover gesteld. Maar als je veel van die publieke hyves ziet die gewoon helemaal vol staan met vragen van mensen die dingen niet snappen, niet kunnen vinden, et cetera. Ze hebben zelfs een compleet team van een man of 10-15 in dienst om al die vragen te beantwoorden.

Dat moet echt drastisch verbeterd worden.

[flowerp]

Maar als je veel van die publieke hyves ziet die gewoon helemaal vol staan met vragen van mensen die dingen niet snappen, niet kunnen vinden, et cetera.

No offence, maar met 6 miljoen leden betekend het dat je ook erg veel erg domme mensen tussen je gebruikers hebt zitten. Het soort mensen dat al volledig in paniek raakt als 'hun' Word opeens een pixel naar links verschoven is (b.v. omdat het window normaal gemaximaliseerd is, maar nu gewoon zo groot is als het hele scherm en er dus subtiel anders uitziet).

Tegen dat soort pure dommigheid kan de beste user interface niet op.

[TrekVogel]

Dat is helaas helemaal waar. Zo kwam ik iemand tegen die op haar blog de vraag postte wat een blog was en of iemand dat uit kon leggen. De uitleg van Hyves is vrij duidelijk en alles is vrij simpel. Als je dan nog niet weet wat een blog is kun je blijkbaar prima zonder. Je conclusie lijkt me dan ook vrij logisch.

[mae-t.net]

De vragen worden prima beantwoord, maar iets veranderen (ook al is het simpel als een dropdown-box vervangen door een invoerveld omdat er een bepaalde instelling niet gemaakt kan worden of gaat het om een overduidelijke bug waardoor mails naar adressen met een - streepje erin soms niet aankomen) in code die niet high-prio is in verband met het invoeren van alweer een nieuwe (ook vaak nog best mooie) feature, lijkt eerder op een tienjarenplan. Dat komt ook wel een beetje overeen met de constatering dat er ook geen tijd is om te optimaliseren of aan de browsercompatibiliteit te werken.

Eerlijk is eerlijk, voor de browsercompatibiliteit waarschuwen ze zelf al, en op mijn suggestie om de dropdown-box te veranderen kwam vlot het antwoord dat ze op deze manier de meerderheid van de gevallen wel gecoverd hadden en dat er belangrijker dingen waren. Over de bug in het mailsysteem heb ik nooit meer wat gehoord, een teken dat ze het de laatste maanden nog drukker hadden dan anders.

[flowerp]

Ik keek wel even op bij de 1200 servers die nodig voor de site zijn. Is dat niet een beetje heel erg veel??

Dat lijkt me ook wel erg veel. Ik vraag me af of Hyves niet beter een platform als Java had kunnen gebruiken? Het is nu helemaal in PHP gebouwd. Voor sommige toepassingen zal het verschil niet zo groot zijn, maar het is natuurlijk wel zo dat je bij Java wat meer mogelijkheden voor dingen als caching, clustering en concurency.

Ik meende dat ik eens in een blog van een hyves medewerker las dat een Hyves pagina iets van 100 losse queries ofzo gebruikt. Met de concurrent packages van Java zou je die vrij makkelijk een groep van X kunnen opdelen en dan parallel uit laten voeren door threads uit de (standaard) thread pool van Java. Ook zijn er voor Java zeer professionele data grids en distributed caches te krijgen (zoals b.v. Oracle Coherence).

(ik weet natuurlijk niet hoe hyves het nu precies aanpakt, voor het zelfde geld is het complete onzin wat ik nu ratel )

[doxick]

Kijk, het is schattig om allemaal coole termen te gaan strooien zoals je hier boven doet. Leuker is het om er een simpel rekensommetje te maken:
DBMS (ik mag hopen dat het geen mysql is) kan maar X aantal aanvragen per seconde aan. X / 100 = aantal pagina's per seconde. (100 = queries per pagina)
Ga je over die X / 100 heen, dan wordt het traag.
Laat je die queries in threads uit voeren... net zo prima, blijf je met die X / 100 zitten, al zou je met 1000 threads strooien. Daarnaast wordt de overhead van een thread groter dan de winst die je maakt denk ik....

[flowerp]

100 = aantal pagina's per seconde. (100 = queries per pagina)
Ga je over die X / 100 heen, dan wordt het traag.

Misschien, maar het ligt iets subtieler dan dat. Het ligt er namelijk sterk aan waar je bottleneck zit. Heeft de DB nog CPU of IO power over, dan kan een dergelijke strategie zeker wil zin hebben. Ik heb b.v. een systeem gezien waarbij een pagina ~25 queries gebruikte. De DB had nog reserves, maar toch was de pagina traag. Dit kwam omdat alle queries 1 voor 1 na elkaar naar de DB gestuurd werden. Deze opdelen in 4 batches (4 threads) zorgde voor een betere totale system utilization en dus een betere performance.

Zonder kennis van de architectuur en de echte bottlenecks van een systeem dat zo complex en groot is als Hyves is het natuurlijk moeilijk tot bijna onmogelijk om als externe analist hier echt wat zinnigs over te zeggen.

Als de bottleneck bijvoorbeeld wel de DB zelf is, dan zou een andere strategie kunnen zijn om meer load naar je front end servers te verplaatsen. Dit is een strategie die ik enkele keren in een Java EE systeem heb kunnen toepassen, met groot succes. Het geval was daar dat de database servers overbelast waren, terwijl de Java front-end en business layer servers weinig zaten te doen.

Een veel voorkomende operatie is b.v. het sorteren van data. De traditionele aanpak is dat elke keer dat de user op een andere kolom sorteert, er een query naar de DB toe gaat. Dat kan zonde zijn, omdat de data niet is veranderd en de user alleen een andere sorting wil. Dit argument speelt sterker naar mate de data duur is om te verkrijgen. Een mogelijke optimalisatie is dan om de sorting in Java te laten doen. Je wint hiermee drie maal:

1) Je bespaart je vele roundtrips naar de DB toe (sneller en DB wordt sterk ontlast)
2) Je doet alleen die operatie die nodig is (alleen sorten, en niet alle data weer overnieuw verzamalen)
3) Je verdeelt je load gelijkmatiger over je servers (voor nieuwe data doet de DB wat, voor bestaande data doet je Java server wat)

Een dergelijke aanpak is in PHP wat lastiger te implementeren. Java biedt hier van huis uit en in de vorm van libraries (het al genoemde Oracle Coherence, of b.v. Jboss Cache) behoorlijk wat meer opties. Dingen als eviction policies zijn veel makkelijker te realiseren b.v.

Nogmaals wil ik benadrukken dat je de door mij genoemde aanpakken niet zomaar blinde weg kunt gaan toepassen. Het hangt sterk van de situatie af of het ook echt zinvol is. In ieder geval heb ik er bij bepaalde systemen enorme performance winsten mee weten te behalen, maar dat was -na- een uitvoerige analyse en een identificatie van de specifieke knel punten in die systemen.

[cariolive23]

Het is dus wél MySQL... En dat is ook waar men een flink probleem heeft.

1 pagina kun je best met 100 queries opbouwen, als je er maar voor zorgt dat je gaat cachen. Dan kun je de 2e met een handje vol queries de volgende user gelukkig maken. Cache is king!

Maar inderdaad, het hele systeem in PHP en MySQL opbouwen, dat is imho vragen om problemen. Al is MySQL met versie 5 al wel 100x beter dan de voorgaande versies, het blijft behelpen met grote workloads.

[satoer]

Klinkt inderdaad mooi, totdat de ontwikkelaars er achter komen dat je veel geld kunt verdienen met spammen. 6 miljoen accounts vol interessante informatie kan dan best handig zijn. Straks moet je nog een spamfilter op je krabbels zetten.

[reiniero]

Dat klinkt meer dan het is.

Gebruik jij hyves?
want als je hyves gebruikt dan weet je dat ze nog veeel meer servers nodig hebben, het is zo sloom allemaal. Dat is echt hèt nadeel van hyves.

[- peter -]

Het is sloom idd. Het doet sterk vermoeden dat het zeer slecht in elkaar zit qua programmacode.

[Archiebald]

krijg je als je

250 miljoen vriendenrelaties (een vriendenrelatie bestaar uit eet tuple van 2 32bits ints)

en

Ongeveer 300 a 350 MySQL database servers.

hebt
bron

En aangezien ze nog steeds (hard) groeien, kun je ook niet echt _goed_ richten op het optimaliseren van de code ed..

hiermee wil ik overigens niet zeggen dat ik het niet sloom vind, het is heel sloom

edit: typo

[Reactie gewijzigd door Archiebald op 22 juli 2024 14:31]

[Verwijderd]

Toch grappig dat marktplaats nog steeds beter performt met minder servers, en dat netwerk mag je door de helft hakken omdat het namelijk dubbele netwerken zijn per pop welke opzich zelf ook weer redundant uitgevoerd zijn.

Hyves is slecht gecode en dat weten de goeroes ook wel

Hyves is er achter gekomen dat een dergelijk site makkelijk vrij groot te krijgen is, ze zijn alleen vergeten dat je je applicatie ook moet mee ontwikkelen en niet alleen maar servers bij kunt plakken om de performance op te krikken.

16TB aan ruimte bijplaatsen klinkt ook stoer, de vraag is of hun netwerk design ook wel zo lekker in elkaar zit.

Bekijk hun cache eens, dat is nu beter op orde, maar als je ziet waar alles vandaan gecached wordt, vreselijk.

Ze kunnen zeker nog steeds geen afscheid nemen van een geflopte startpda ?

[Reactie gewijzigd door Verwijderd op 22 juli 2024 14:31]

[Frash]

@RutgerM: Hyves en marktplaats is appels en peren. Marktplaats slaat gewoon een volledig gecachede pagina op... kan desnoods linea recta naar een statische .html inlezen zodat PHP helemaal linksgelaten wordt. Hyves is zo dynamisch dat iemand die zich ingelogged heeft als eerste in vriendenlijst komt; maw. voor alleen een vriendenlijst moet Hyves de logintijden van iedereen in vriendenlijst al weten. Tuurlijk kom je met memcache een eind, maar aangezien RAM gewoon peperduur is is dit toch wel even andere koek. Ook Memcache e.d. vervangen in de toekomst met een databaseserver die volledig SSD is onhaalbaar. (Hoewel toekomst er gaaf uit ziet met SSD RAID )

Zelfde voor nu.nl, die kunnen omdat de site (grotendeels) niet gepersonaliseerd is gewoon statische bestanden serveren.

[Verwijderd]

Ram peperduur ? Het is nog nooit zo goedkoop geweest, ook ECC niet


Je moet ook eens kijken naar wat hyves cached en wat ze daarna nog een keer extra op gaan halen wat eerst uit de cache gehaald is.

De code is nu zo forward <> backwards dat je teveel extra dingen gaat doen.

Wil je dat probleem oplossen kun je volgens mij echt de hele code van scratch opnieuw gaan schrijven.

Er zijn in korte tijd zoveel features bij geschreven dat het een grote "hang maar aan elkaar" code is.

Vandaar dat de API ook zo lang op zich heeft laten wachten denk ik, zal me niets verbazen als ze daarom (een deel van) de corecode hebben herschreven korte tijd terug. Sinds dien is hyves ook echt wel sneller, ik heb er geen account dus weet niet hoe het is als je als gebruiker inlogt verder.

De manier van cache gebruiken in combinatie met de nieuwe data die opgehaald moet worden is volgens mij redelijk slecht ontworpen.

Het kan dus ook zo maar zo zijn dat je interne netwerk een load heeft waar je U tegen zegt en je dus maar aan het "lappen" blijft met de groeiomvang die je hebt.

[i-chat]

reepjes van 2gb ECC Buffered ram, zijn nog steed duur vooral als je er 8 per server van nodig hebt, en dan moet ook de overige hardware daar nog op ingespeeld zijn...

als ik dat zo lees uit de bovenstaande posts, (en ik heb er zelf weinig ervaring met hyves), moeten ze al zowat servers gaan toerusten aleen al op het verwerken van users-stats en vrinenden lijsten (nog voor dat daar om gevraagd word door de webserver).

[cariolive23]

Tja, 300 tot 350 database servers die niet goed schalen, dan kun je alleen maar méér servers neerzetten wanneer je meer bezoekers krijgt... Op zich wordt het beheerprobleem dan alleen maar groter, maar je schuift het probleem dan toch maar weer even een korte tijd voor je uit.

Onbegrijpelijk dat ze niet overstappen op een database die beter opschaalt en veel meer gelijktijdige gebruikers aankan. Dat zal het dagelijkse beheer eenvoudiger maken en de bezoekers blij maken met een snellere applicatie.

Ze mogen me bellen!

[Verwijderd]

Programmacode...

Heb ervaring met een internetspel dat door het anders programmeren van een oorlog in de problemen kwam.

Wat was gebeurd?

Het was allemaal te snel nu en de 1e oorlog schreef de andere oorlog over. (de oorlogen werden opgeslagen mbv een tijdsnaam: 2008-12-12-19-23)

Als Hyves dat voor mekaar krijgt, dan heb je geen 1200 servers nodig.

[killingdjef]

waar -heb- jij het over?
Het klinkt interessant maar ik snap echt niet wat je bedoelt

[Verwijderd]

hahah precies, dat dacht ik ook al

[Ruudjah]

Ik weiger actief in een social networking site te zijn als mij niet duidelijk is wat er met de gegevens gebeurt. Ik ben zelf eigenaar van de toegevoegde informatie, en niet Hyves of Facebook. Omdat beide diensten nog geen software hebben waarmee je je eigen gegevens offline kan backuppen, is het nog niet interresant voor mij. Ook de macht over je eigen gegevens is belangrijk. Ik kan bijvoorbeeld niet informatie die ik heb geupload later weer verwijderen als ik dat nodig vind; eenmaal op het web, nooit meer eraf. Dat websites mijn informatie indexeren, a la, maar als een social networking dienst mij geen mogelijkheid geeft om het expliciet te verwijderen (dus niet als verwijderd markeren, maar daadwerkelijk verwijderen) is het einde zoek.

Wat verder een probleem is met social networking dienst is de content die je upload. Ik verwacht dat een social networking dienst dat ik de nederlandse auteurswet mag naleven, en dus een liedje mag delen met iedere kennis op de dienst. Zoals in het echt ook gebeurd, waar je iemand MP3's op zijn device kopieert. Maar dat kan allemaal niet, want stel je voor dat facebook een muziek uitwissel dienst wordt! Dan wordt mijn profiel opeens interresant voor RIAA dataminers en de SN dienst kan zijn biezen pakken omdat ze het verspreiden van muziek bevorderen. Zelfde geld voor films, boeken, foto's, artikelen, etc.

Een API als deze helpt natuurlijk enorm om dit soort dingen te bewerkstelligen. Wellicht is het nu mogelijk om je eigen informatie te mijnen, dan heb je iig een offline backup van al je info. Verder is de alliantie waarin Google, Microsoft en Facebook deelnemen veelbelovend maar tot dusver nog steeds een wassen neus met ideologisch geblaat. Concreet is er nog niets bereikt.

Enige oplossing voor mij is dus een persoonlijke facebook erop na houden, gelukkig is hiervoor mooie software voor te krijgen.

Overigens geld hetzelfde in zekere zin voor Tweakers.Net. Tweakers is in feite een PN site (Professional Network). Niet voor niets heb ik gevraagd of de nieuwe blogs ook downloadable worden. Stel dat tweakers zijn deuren moet sluiten wegens *insert reden*. Dan ben ik al mijn blogposts kwijt samen met de rest van alle info. Misschien kan Hyves voor Tweakers als voorbeeld dienen? Tweakers is ook OSS minded, gebruikt voor zover ik weet alleen OS software. En in feite zitten ze in hetzelfde schuitje als Hyves, met het verschil dat Tweakers ook nieuws verzorgt.

[Reactie gewijzigd door Ruudjah op 22 juli 2024 14:31]

[Toolskyn]

Ik snap niet dat mensen hier zo enorm liggen te zeuren over privacy. Voor de meeste acties moet een gebruiker eerst toestemming geven. Op dat moment kun je als programma nog steeds minder zien dan de gebruiker zelf.

Sowieso is het hele goede om privacy onzin in dit geval. Als het nou om een overheidssite gaat waar alle informatie van alle Nederlanders op staat. Maar daar gaat het niet over, het is een site waar je je volledig vrijwillig zonder ook maar een enkele vorm van dwang zoveel en zo weinig mogelijk over jezelf kwijt kan als je maar wil. Als je dan helemaal begint weg te kwijnen zodra je weet dat ook maar het minste of geringste van je persoonlijke informatie op het internet staat, registreer je dan toch in vredes naam niet.

En voor degenen die gelijk aan alle mogelijke identiteitsdiefstallen en andere bullcrap zit te denken: niet iedereen is staatsvijand nummer 1 van Rusland. We moeten niet net gaan doen alsof iedereen uberhaupt interessant is. Dat jij misschien hordes met minder-aardige mensen kent wil niet zeggen dat dat bij iedereen zo is.

Ik snap best dat je je privacy wil verdedigen, maar zolang iets volledig vrijwillig is, is er gewoon niets om over te zeuren. Anders wordt het bij overheidszaken en grote databases met informatie over 'alles en iedereen', daar mag je wat mij betreft de hele dag door over klagen en helemaal terecht overigens.

[Verwijderd]

Als ik iemands gegevens wil achterhalen, wil dat ook wel lukken zonder hyves.

Er zijn daar tegenwoordig ook andere manieren voor.

[Praetor]

Het gaat er om dat personen/bedrijven zonder al te veel moeite aan een hele hoop gegevens kunnen komen. Op facebook zie je dat ook, een gruwelijk aantal apps met een stomme quiz van 1 vraag of "wie vindt jouw leuk?" dat soort onzin. Waar de waarde in zit is dat als jij dat wilt spelen je de app toegang geeft tot jouw informatie en je meteen 20 vrienden moet uitnodigen. De maker van de app krijgt zo heel makkelijk een database met rijke informatie die uiteindelijk een hoop geld waard is. En de gebruiker? Die krijgt elke dag een uitnodiging of 10 (als je mazzel hebt) om ook mee te doen en je gegevens op te geven door een simpele klik.

[Verwijderd]

Apart, gebruiken ze Gentoo Linux voor hun serverpark? Ik draai het ook op mijn thuisserver maar ik zou toch voor een serverpark eerder giezen voor Debian oid. Vreemde keuze...

[Maestro]

Waarom dan toch? ik hoor dat zo vaak, maar zonder goede reden. In 2001 ben ik gestart met hosting, de eerste 2,5 jaar op Debian. Ik werd zo nerveus van het feit dat de packagemanager altijd zo ver achter lag (Stable althans...), dat ik maar eens naar een alternatief ben gaan kijken.

Sinds 2004 draaien ook al onze servers op Gentoo, en -mits er wat kennis van zaken is- zie ik er eigenlijk geen nadelen in, wel voordelen. Veel flexibeler krijg je 't niet, en het is natuurlijk prachtig dat alles voor je eigen machines geoptimaliseerd is.

Kijk, als je niet goed weet wat je doet is elk besturingssysteem in een serverpark 'gevaarlijk' om te gebruiken

[Reactie gewijzigd door Maestro op 22 juli 2024 14:31]

[Verwijderd]

Dan ben je verkeerd in die business begonnen.

Tot 2005 had je gewoon testing moeten draaien, Stable was gewoon niet slim en Testing was een rewrite.. dus ook nog eens goed ook.

Ik snap Gentoo ook niet helemaal, Debian of CentOS zijn volgens mij wat slimmere keuzes.

Maarja, Gentoo guru's denken alleen maar Gentoo en geen Linux als je het mij vraagt

[Maestro]

Maarja, Gentoo guru's denken alleen maar Gentoo en geen Linux als je het mij vraagt

Ik weet 't niet joh, ik ken alleen maar Gentoo, geen Linux

Zonder gekkigheid, toen ik startte in 2001, klonk testing toch wel raar als je ook voor stable kan kiezen. Later ben ik daar ook wel achter gekomen, maar toen was het kwaad goed al geschied...
Maar we gaan hier al redelijk offtopic en zal 't niet verder doorzetten. Moet ik helaas nog ff een trapje geven dat ik nu nog steeds niet weet waarom men Gentoo niet in een productie-omgeving wil hebben. Sorry

[flipjevandejam]

Waar ik naar zit te smachten is de (in mijn ogen eerste en meeste nuttige functie van een sociaal netwerk, namelijk de) mogelijkheid om je adresboek te kunnen importeren naar Outlook en uiteindelijk je telefoon.

Nu ben ik een paar week terug nog úúren bezig geweest de meest actuele en complete set van gegevens van een paar honderd mensen bij elkaar te zoeken (en goed in te voeren in m'n Gmail contacts), maar het zou fijn zijn als je gewoon de gegevens van je vrienden kan exporteren. Zij hoeven dan alleen maar zelf te zorgen voor de actualiteit van hun ene profieltje en jij als vriend weet zeker dat je altijd de meest actuele en complete info te pakken hebt.

[JLM2SQUARE]

Als men zijn/haar prive gegevens wil bewaren, zorg dan dat jij op hyves niet aangesloten ben toch ? simpel is dat.