Klopt, ze gebruiken geen client/server architectuur.
Overigens is het altijd al wel zo geweest dat X niet lekker werkt over verbindingen met hogere latency dan een lokaal netwerk (lees: Internet). Het protocol heeft zoveel vraag/antwoord routines dat alles dan waardeloos traag wordt. Dus het heeft beperkt nut. Het was vroeger bedoeld voor grote servers en dan een hele zaal vol X-Terminals die daar op werkten, vlak ernaast. Eigenlijk een voortzetting van de groene domme tekst-terminal structuur. Dat werkte dan ook perfect.
Er zijn wel uitbreidingen zoals x2go en NX die een heleboel van die vraag/antwoord spelletjes lokaal cachen en dan wel een werkbare performance houden. Maar toch is het niet helemaal geweldig, je bent dan een hoop standaardisering kwijt.
Ook heeft X een aantal kanten waarbij er niet goed is nagedacht over security. Applicaties kunnen zo het het hele scherm en invoer monitoren bijvoorbeeld, ook als ze niet actief zijn en dus is een keylogger zo gemaakt. Ook was er in het hele vroege begin geen beveiliging op de schermen, zo kon je een imageviewer op iemand anders' scherm opstarten met discutabele inhoud

Maar xauth is vrij snel toegevoegd, helaas wel op een voor huidige standaard discutabele manier (een random code genaamd MIT-MAGIC-COOKIE-1 die in je homedirectory wordt opgeslagen

)
Probleem is dat je op een gegeven moment een heleboel baggage meesleept uit het verleden waarover op een hele andere manier is nagedacht dan waarop je het nu gebruikt. Vroeger werden fonts bijvoorbeeld eenmalig overgestuurd naar de terminal en dan lokaal gerenderd (alleen de tekstuele inhoud van een window werd verstuurd). Nu doet bijna niets dat meer ivm server side fonts en antialiasing. Ook zijn video, hoge kleurdieptes, alpha channels enz een ding.
Dus op zich niet slecht om eens opnieuw naar de tekentafel te gaan. Al vind ik het ook heel jammer dat ze de client/server structuur er uit gelaten hebben. Maar de ontwikkelaars van Wayland vinden dat dat stuk niet tot hun werk behoort, ze vervangen eigenlijk een smaller stukje van het geheel dat vroeger Xorg was.