Tweakers.net en GoT userbase merge update #3

Al vele jaren is het één van de punten op onze .todo het samenvoegen van de users van de frontpage en het forum. Vorig jaar zijn we concreet werk gaan maken van dit plan en eind november hebben we voor het eerst publiek bekend gemaakt wat nou precies de bedoeling is. Als je dit - en de herhaling van het originele bericht een kleine maand later - gemist hebt, dan kun je het hier nog een keer nalezen. De hele korte samenvatting is dat het zowel in ons als in je eigen belang is om ervoor te zorgen dat je deze pagina hebt ingevuld.

Inmiddels zijn we weer een aantal maanden verder, en is het dus de hoogste tijd voor een statusupdate. Je begrijpt dat er heel wat bij een dergelijke operatie komt kijken. Het forum kent bijna 75.000 gebruikers en op de frontpage gaat het alweer hard richting 90.000. Iedere gebruiker die zowel op het forum als op de frontpage rondhuppelt heeft twee userid's, en die nummers worden op talloze plaatsen in de databases van de frontpage en het forum gebruikt om naar die specifieke gebruiker te wijzen. Bijvoorbeeld om aan te geven wie een reactie gepost heeft, wie een moderatie gedaan heeft, wie een prijs heeft ingevoerd, van wie een icoon is en wie een waarschuwing heeft gehad. Het is dus niet alleen belangrijk om de twee accounts hetzelfde nummer te geven, maar ook om ervoor te zorgen dat het oude nummer ook overal vervangen wordt voor het nieuwe.

De huidige stand van zaken

Het script om accounts te koppelen is af en getest. Dit script zal in een tijdelijke database de koppeling gaan leggen tussen frontpage- en forum-userid's. Er zal in de volgende volgorde gezocht worden naar accounts om samen te voegen:

• Crew
  
• My.Tweakers.net Abonnees
  
• Mensen die hun voorkeur hebben opgegeven
  
• Accounts met hetzelfde mailadres op de frontpage als op GoT
  
• Alle resterende gebruikers

Als registratiedatum van de nieuwe accounts wordt de vroegste van de twee losse accounts gebruikt. Dit is belangrijk om te weten, want op volgorde van registratie worden de nieuwe userid's uitgedeeld. Alle accounts worden dus netjes voorzien van een nieuw nummer. Er is dan dus een grote lijst met daarin de volgende gegevens over alle nieuwe accounts:

• Nieuw userid
  
• Oud frontpage-userid
  
• Oud forum-userid
  
• Nickname
  
• Registratiedatum
  
• E-mailadres

Goed, daarmee zijn we dus al een heel eind. Dan is echter tijd om iets met die kennis te gaan doen. Dat wil zeggen dat op het forum en op de frontpage overal de oude gegevens (userid, nickname, registratiedatum en e-mailadres) moeten vervangen voor de nieuwe. Deze fase is echter nog niet helemaal voorbereid qua software. Er is wel een script dat deze operatie op het forum uitvoert, maar het gedeelte voor de frontpage is er helaas nog niet.

Wanneer dan wel?

We hopen de merge nu zeker binnen drie maanden uit te kunnen voeren . Naast het hierboven genoemde script moeten ook nog diverse andere dingen geregeld worden, zoals het verbeteren van de registratieprocedure op de frontpage. Sinds enkele weken is het bijvoorbeeld al niet meer mogelijk om met een gratis mailadres aan te melden, maar er zijn uiteraard nog meer verscherpingen nodig om de universele registratie straks wat beter tegen misbruik bestand te maken. Ook zaken als passmailers en nickchanges zullen voortaan iets anders moeten lopen. Kleine dingen, maar het moet wel even gemaakt en getest worden.

Na de merge

Na de merge zullen er een paar dingen iets anders werken dan je nu misschien gewend bent. Registreren op het forum zal zoals je uit de tekst hierboven misschien al hebt opgemaakt bijvoorbeeld niet meer mogelijk zijn. In plaats daarvan moeten nieuwe gebruikers zich aanmelden op de frontpage, en daarmee zal automatisch een account op het forum worden gemaakt met dezelfde nick, hetzelfde wachtwoord en hetzelfde mailadres. Deze drie eigenschappen van je account zullen vanaf de merge altijd synchroon gehouden worden. Verder verandert er in eerste instantie niets, maar je kunt je voorstellen dat er erg mooie features qua integratie van frontpage en forum zijn te bedenken met gelijke userid's .

Maar!?!

Ho. Voor je iets vraagt, lees eerst dit nog eens door. Nee, je raakt je posts niet kwijt, je karma niet en zelfs je HK-access niet. Het enige waar je last van kan hebben is een aantal uren downtime terwijl het onderhoud aan de database plaatsvindt en misschien - kleine kans als je braaf samenvoegt - dat je een nieuwe nickname moet uitzoeken. Dat is alles .

Update (16-6)

Inmiddels zijn we in de test- en debugfase beland. Geïnteresseerden kunnen hier bekijken wat het resultaat van de merge zou zijn, als hij op dit moment zou worden uitgevoerd. Na het invoeren van een username en wachtwoord word je onder andere verteld wat je nieuwe nick en je nieuwe user-id worden. Enig voorbehoud is hierbij wel op z'n plaats, want eventuele bugs die nog in het script gevonden worden en nieuw ingevoerde voorkeuren zouden nog verandering in dit resultaat kunnen brengen. Voor de duidelijkheid: het resultaat wordt niet realtime bijgewerkt.

Mensen die schrikken omdat ze een hoog user-id of krijgen hoeven zich over het algemeen geen zorgen te maken. Dit wordt veroorzaakt door de vele (inactieve) mensen die nog geen koppeling hebben gelegd, en betekent dus niet dat er ineens duizenden actieve gebruikers voor jou komen te staan. Specifiek voor het screenen voor HK-toegang zal dit betekenen dat er waarschijnlijk sneller door de ranges heengewerkt kan worden, waardoor je netto niet veel later aan de beurt bent. Heb je geen idee waar dit over gaat, dan interesseert het je waarschijnlijk ook niet en kun je het gewoon negeren .

Als blijkt dat je niet de nick van je voorkeur krijgt, kan dat kloppen. Er wordt op dit moment gewerkt aan een betere methode zoveel mogelijk voorkeuren te verwerken.

Update (3-7)

Zoals inmiddels duidelijk mag zijn is het niet gelukt om de merge voor 1 juli uit te voeren. De reden hiervoor is dat de afdeling serverbeheer en development, en dan met name ACM, het de laatste maanden drukker heeft gehad dan verwacht. Ondere andere een grote upgrade van de fileserver, een aankomende upgrade van de database en aanpassingen aan de search van GoT hebben veel tijd opgeëist. In principe is de software die de merge gaat uitvoeren zo goed als klaar, maar er moet nog precies uitgezocht worden hoe de downtime geminimaliseerd kan worden.

Op een simpel testservertje duurde het in eerste instantie namelijk zo'n twee dagen om alles te voltooien. Nu zijn de echte databases natuurlijk vele malen sneller, zeker als Apollo straks vervangen wordt door een dual Opteron, maar de nodige optimalisaties zijn natuurlijk nooit weg. Er moet echter nog steeds rekening gehouden worden met een paar uur geen (of read-only?) frontpage, en ongeveer een dag zonder forum. Tijdens de vakanties van een paar belangrijke figuren (Kees, Femme, Daniël) in juli zal verder gewerkt worden aan een precies plan van uitvoering en verdere (performance)tweaks, en we hopen nu dat we in augustus eindelijk in actie kunnen komen .

Reacties (112)

Kan je niet via een pushmessage of zo (voor GoT dan) erop worden gewezen dat je je voorkeur kan opgeven? Ik kan me voorstellen dat veel mensen het niet door hebben...

Ik moet eerlijk bekennen dat ik deze merge al weer vergeten was.

Ik ben in ieder geval blij dat tot op heden alles (redelijk) naar wens verloopt en ik wens jullie dan ook alles succes toe bij het voltooien van deze operatie.

Zelf verwacht ik geen problemen, maar dat komt doordat ik mijn voorkeur al enige tijd gegeleden heb opgegeven en omdat ik op zowel de frontpage als op het forum dezelfde nick gebruik.

Ik ben trouwens heel benieuwd naar de nieuwe features die komen gaan als de merge compleet is

Zelf verwacht ik geen problemen

Ik voorzie eigenlijk maar 1 probleem(pje), en dat is de screening voor de nieuwe HK

Ik kan me voorstellen dat er mensen zijn die nu een hoger ID krijgen dan eerst, en dus lang(er) moeten wachten op hun screening.

Nu is HK een EXTRA (iets wat tegenwoordig wel vrij duidelijk is, maar zeker in het verleden wel eens tot heftige discussies heeft geleid in vnl. LA), maar een aantal mensen die van nature toch al meer zeiken zouden dit zomaar aan kunnen pakken als gelegenheid herrie te schoppen.

Zelf ben ik al gescreened (GoT-id < 10k), maar hoe wordt dit opgelost voor de (hoe hoger hoe meer actieve) users met een hoog huidig id? Gewoon adhv hun oude id?

als je de faq had gelezen zie dat het LAAGSTE id gebruikt word. je kunt dus alleen maar voordeel hebben (als je eerder op FP dan GoT geregt hebt dus).

Als registratiedatum van de nieuwe accounts zal de kleinste van de twee losse accounts worden gekozen. De nieuwe user-ids worden vervolgens uitgedeeld op volgorde van registratie

Fout, je LAAGSTE registratie datum wordt gebruikt om op te sorteren

Stel je regt eerst op Got... In tussentijd (tussen oprichten en jouw registratie) reggen er ook mensen eerst op de FP.
Als we even aannemen dat iedereen slechts op 1 van de 2 geregistreerd is, dan wordt je ID dus 2x zo hoog.
Nemen we aan dat iedereen op beide is geregistreerd dan blijft je ID ongeveer gelijk.

De waarheid zal dus ergens in het midden liggen, maar ervan uitgaan dat je ID omhoog gaat is niet zo'n gek idee

Nou in mijn geval zal ik duidelijk lager komen te staan, ik heb me op GoT 2 jaar later geregged dan op de FP. Op de FP zit ik ergens in de 10k en op GoT in de 42k.

Ik was er vroeg bij


T.NET userID 628
GOT userID 618

ah ik ben geloof ik fromtpage 676 got 572
of is de eerste mijn gallery id?

gallery id == frontpage id

toch?

Bij mij wel, maar dat kan toeval zijn

Ik voorzie eigenlijk maar 1 probleem(pje), en dat is de screening voor de nieuwe HK

Ik kan me voorstellen dat er mensen zijn die nu een hoger ID krijgen dan eerst, en dus lang(er) moeten wachten op hun screening.

Persoonlijk zie ik dat niet als een probleem. UserID wordt namelijk als makkelijk hanteerbaar kenmerk van registratievolgorde genomen, en na de merge kloppen de userID's alleen nog maar beter, omdat die op volgorde van registratiedatum zullen worden uitgedeeld.

Feitelijk is het dus niet meer dan rechtvaardig dat er een aantal mensen een hoger UserID krijgen (en een aantal andere een lager UserID, vergeet dat vooral niet), ze waren er eerder bij

Waarom wordt er niet gebruik gemaakt van Distributed computing ?..

Iedereen kan kleine pakketjes van de db downloaden
welke goed encrypt zijn. Er wordt mee gestuurd
welke # ID moet worden vervangen en iedereen
kan thuis mee helpen aan de GOT overgang...
Hierbij kan het forum gewoon doorwerken alleen
gedeeltes van de DB die gedownload zijn als pakket
worden gelockt.

Ik denk niet dat het hiervoor bedoeld is. Encrypted of niet, je zit toch met privacystuff. Daarnaast moet er veel vergeleken worden, en dat moet met alle gegevens in het databeestje, dus dan krijg je naar mijn idee wel erg veel dataverkeer...

Dataverkeer boeit niet zo, maar het is technisch gewoon zo goed als onhaalbaar, en als het zou kunnen dan zou het vele maanden duren om het 100% werkend en veilig te krijgen, en dat weegt dus totaal niet op tegen de iets grote downtime.

Het ontwikkelen van een dergelijk systeem zal veel langer duren dan een simpel SQL scriptje. Daarnaast neemt het niet het probleem weg, tijdens het overzetten van de database kunnen geen veranderingen plaats vinden op de site.

Het is wel zonde om de site tijdelijk plat te leggen, maar de heren van de afdeling development zullen vast wel iets bedenken om ons zoet te houden tijdens de merge!

Ik denk dat t.net op maandagnacht 3.00u tot 6.00u niet zoveel geraadpleegd wordt

* 786562 MM

Ik zit er wel wat mee, als het mis gaat evt. aangezien ik op het forum al enkele maanden een ban heb (waarvan ik nooit een meel heb gehad met de reden), stel je voor dat ik dan straks ook hier op de frontpage een ban heb door die merge...

Gooi dan ff een mailtje richting 1 vd moderators

Alweer? Ik blijf bezig, er komen dan alleen vage meeltjes waar ik ook nix aan heb. Het lijkt soms wel net zo ongeorganiseerd op het forum als bij UPC. Mag toch hopen dat het op de FP niet zo wordt na de merge

Bans worden in eerste instantie niet overgenomen. Je blijft dus gebanned op het forum, maar op de frontpage kun je gewoon doorposten. Misschien dat we het ooit nog samentrekken, maar dan in ieder geval niet met terugwerkende kracht .

Sinds enkele weken is het bijvoorbeeld al niet meer mogelijk om met een gratis mailadres aan te melden

Ik vind het prima dat jullie hierop controleren maar houd er dan ook rekening mee dat Zonnet ook betaalde gebruikers heeft. Ik betaal genoeg voor mijn ADSL abonnement en wil het email adres dat daar bij hoort ook blijven gebruiken.

(Ik heb dit soort foutmeldingen al te vaak gezien bij mijn NIET gratis email adres )

We zijn op dit moment bezig om te zien of we daar een oplossing voor kunnen implementeren. We hebben nu een andere mogelijkheid bedacht om onderscheid te maken tussen ADSL- en inbel-ipadressen, Zonnet zelf kon ons namelijk niet helpen met dit probleem.

Toen ik mij een paar jaar geleden op GoT probeerde te registreren, kreeg ik ook de melding dat dat niet kon vanaf een hotmail- adres. Ik heb toen een gratis account bij zonnet aangevraagd en heb zo met de e-mailaccount van Zonnet geregistreerd.

Ik heb namelijk zelf geen e-mailadres bij de provider, aangezien het internet gedeeld wordt met 4 man en mijn vader en moeder (Rendo De Kooi deelde 2 POP3- adressen uit) het e-mailadres @rendo.dekooi.nl. Mijn zus en ik moesten noodgedwongen uitwijken naar een gratis e-mailadres (zij heeft dolfijn en ik heb hotmail).

Ik gebruik het zonnet e-mailadres met schaarste (debian security announcements) en zou liever e-mails op mijn hotmail account hebben. Mijn OW kwam ook binnen via zonnet. Met andere woorden: kunnen jullie daar geen constructie op verzinnen?

Je hebt alleen een mailadres van een betaalde provider nodig om je aan te melden. Na het aanmelden kun je het veranderen naar wat je maar wil, dus ook naar hotmail .

Dus een totaal nutteloze eis.

Als iemand wil zieken op het GoT forum dan kan bij z'n provider gewoon een reeks aliassen aanmaken en zijn gang gaan. Wordt ie gebanned dan maakt ie gewoon een andere aan.

Laat mij lekker m'n hotmail-account gebruiken.

Trouwens tegenwoordig kan je er ook voor kiezen om een uitgebreidere Hotmail account te kiezen dus dan heb je hetzelfde probleem als bij Zonnet.

En waar moet je klagen? Zonder T.Net-approved--email-adres kan je niks op het klaag-forum posten.

Helemaal niet nutteloos. Het mailadres waarmee geregisteerd wordt blijft natuurlijk bewaard, ook als iemand het achteraf verandert. Het gaat er niet om dat iemand betaalt voor z'n mailadres of dat hij er maar één kan hebben, het gaat erom dat iemand te achterhalen is. Met een adres bij Chello kunnen we veel makkelijker maatregelen nemen dan met een hotmailadres. En klagen kan natuurlijk ook via e-mail.

en die is ?
Kijken of het ip waarmee bezocht wordt niet al te vaak verandert ?

ik denk eerder het bekijk of het ip eentje is waarmee ingebeld wordt
dus of die in die range zit of niet

Die ranges kan of wil Zonnet niet geven, dus helaas is dat niet mogelijk. We willen het nu met reverse dns proberen .

Wel een beetje doorwerken hè Wouter

Hoewel, bij dit soort 'projectjes' kom je altijd voor vervelende problemen te staan. En dan is het maar beter dat je er op voorbereid bent...

Zelf hoef ik weinig te doen hoor. Het meeste wordt gedaan door ACM en Femme, ze laten mij gewoon de .plan schrijven .

Naja, zolang ze jou dat laten doen omdat ze het zelf te druk hebben is het goed

haal dan ook gelijk deze tikfout eruit
Deze fase is echter nog niet helemaal is voorbereid qua software.

Onnozele vraag hoor, maar waarom hebben jullie dit niet gelijk gedaan? Dit kost 100x zoveel werk.

En je weet van tevoren dat, hoe langer je wacht, hoe moeilijker het wordt...

Daarom hebben we met het maken van Motorfreaks eerst gekeken naar de DB van Motor-forum en die zijn dus samengevoegd.

Als je je op de ene site registreert, ben je het dus gelijk op alletwee...wel zo handig

Alleen is MF begonnen met het waanzinnig populaire (ahum, iig bij mij ) forum, en is daar (veel) later een uitbreiding in de zin van een 'frontpage' bijgekomen.

t.net is erg klein begonnnen met zowel een forum als een fp, en toen zal er niet aan gedacht zijn (door het kleine aantal users).

Als het niet in het begin gebeurt (en dat gebeurt niet vaak als de forumsoftware niet in eigen beheer is) dan kun je altijd wel roepen dat het te laat is
Feit is DAT het gebeurd, en dat is een goed iets

Het allereerste forum was ook UBB, een CGI forum, en de site was in PHP/MySQL opgebouwd. Dat is moeilijk te koppelen en werd toen dus ook niet gedaan. Niemand kon toen voorspellen dat t.net zou groeien naar wat het nu is.

ACM kan beter de tijd nemen dat alles in één keer goed gaat, dan dadelijk een fout maken omdat het gehaast moest.

Voor de volle 100% mee eens

Bovendien ontkomen we er niet aan dat de boel tot zekere hoogte down/read-only wordt, en dan is het natuurlijk goeie zaak om dat zo kort mogelijk te laten duren.

Technisch gezien is het wel mogelijk dat de doel door blijft draaien, alleen dat vergt veel extra checks (=tijd).

Raar, ik heb op GOT uID 18434 en op T.net uID 22525 en toch komt mijn nieuwe uID waarschijnlijk op 30899 uit. Je zou toch verwachten dat dat niet veel hoger dan 22000 uit zou komen?

De ID's worden in volgorde van registratie uitgedeeld. Een groot deel van de 22.525 t.net-users en 18.434 GoT-users voor jou zullen niet gekoppeld kunnen worden, dus ontstaan er na de merge meer dan 22.525 users en is de kans inderdaad groot dat je ID zo rond de 31.000 komt te zitten.

Femme, ik weet niet precies hoe er nu gekeken wordt, maar het lijkt er op dat wanneer mensen bijvoorbeeld allemaal op exact dezelfde dag en tijdstip geregged zijn er willekeurig userid's aan uitgedeeld worden. Zou het niet logischer zijn wanneer er in dit geval gekeken wordt naar de huidige userid's op de fora waar deze datum dus hetzelfde is, en degene met het laagste userid uiteindelijk dan ook het laagste nieuwe userid krijgt?

Ik weet dat dit wat moeilijker word wanneer iemand op exact dezelfde tijd heeft geregd of het forum als iemand anders op de frontpage, maar dit moet ook wel op te lossen zijn. En daarnaast lijkt het me wel eerlijker.

Dat kan je ook echt alleen op t.net zien...
Een discussie over zo'n super abstract iets als een userid...
Tis haast sneu...

Ik heb na de merge userid 184 en I couldn't care less... meer zelfs, volgens mij zit ik nog niet eens in de HK... maar goed ieder z'n porem...

Dan vind ik dit resultaat op de testpagina helemáál vreemd:

Je nieuwe account wordt (waarschijnlijk):

Oude T.net account: PowerFlower (31462)
Oude GoT account: PowerFlower (25448)

Nieuw account: PowerFlower (45731)

Ver boven de 31.000 dus en ook niet 1 van de twee anderen

* 786562 PowerFlower

Als ik mezelf probeer te mergen, krijg ik de melding "Het Tweakers.net-account is al gekozen bij een mergevoorkeur. Het GoT-acount is al gekozen bij een mergevoorkeur." Wat moet ik daar nou weer mee?

Dit klinkt alsof je het in het verleden wel eens hebt gedaan ...