Un peu ouais.
La manière la plus propre est d'enlever les liens symboliques pointant vers /etc/init.d/gdm dans /etc/rcX.d
Pour cela, utilise la commande update-rc.d (en root bien sur)
update-rc.d -f gdm remove
Après pour plus de détails sur la configuration des scripts de démarrage pour chaque runlevel :
man update-rc.d