KDE est techniquement un environnement de bureau (donc pas "juste" un gestionnaire de fenêtres).
Sinon, oui, en virent KDE, tu risques de tout virer. Cela dit, c'est la que la magie de apt-get/synaptic intervient pour ne virer que le minimum (en vrai, c'est un bogue mais dans ton cas, ça sert).