Le serveur x est la couche graphique que tu installes sur le systeme d´exploitation pour exploiter des softs graphiques. A la base X-Window sur UNIX, puis une version libre (Xfree nouvellement Xorg) fait la loi sur les linux.
Des infos un peu plus justes et détaillées ?
http://fr.wikipedia.org/wiki/X_Window_System