Une solution, peut-être pas la meilleur :
Pour l'installation de gnome, je ne connais pas tasksel, j'aurai plutot fait un aptitude install gnome, je ne sais pas quelles différences il y a entre les deux méthodes
désactiver le service qui te lance la session graphique (ça peut être lightdm, à toi te voir ce qui est installé sur ton pc)
ensuite tu remplis ton fichier ~/.xinitrc avec "exec gnome-session"
tu reboot, donc une fois le système lancé tu te retrouve sans interface graphique, tu te connectes dans le tty et tu lances "startx"
Voilà, je pense n'avoir rien oublié :'