Perso, ca ne me dérange pas de ne pas avoir de serveur X sur une vieille machine 
Je préfère avoir un système sans serveur X qu´un système avec un serveur X qui rame, voire pire, un serveur X qui est instable.
J´ai jamais essayé damn small linux, mais quand je vois qu´il propose xmms et firefox, j´imagine lancer ces 2 programmes en même temps avec 64 Mo de RAM, et j´imagine que ca va être lent... trop lent pour moi en tout cas
Mais bon, j´ai jamais essayé... 