Tant que ce ne sont pas des fichiers système (ceux qui se trouvent dans le répertoire Windows, en vulgarisant), les dégâts seront limités si tu commets une erreur.
Et au pire, après suppression, si tu vois que quelque chose ne va plus, tu pourras restaurer les fichiers depuis la corbeille 
Donc ne touche surtout pas aux fichiers système, mais pour le reste, tente le coup, ça ne risque pas grand chose
Cela dit, si tu peux désinstaller grâce à un "désinstalleur", c´est quand même préférable.
Si tu ne peux pas, alors va-z-y à la sauvage, comme tu souhaites déjà le faire 