Internet Explorer ne se limite pas à iexplorer.exe et n´est pas qu´un navigateur. C´est une partie du système d´exploitation que tu souhaites enlever, c´est comme si tu demandais "comment désinstaller le panneau de configuration".
C´est peut être possible de supprimer toutes les DLL relatives à IE, mais ça t´empêchera entre autre d´utiliser Windows Update, les ActiveX, les fichiers .hlp et bien d´autre...
En gros, va dans "Configurer les programmes par défaut" dans le menu démarrer, et dans "Configuration personnalisée", décoche la case "Activer l´accès à ce programme". C´est le mieux que tu puisses faire 