C´est possible en utilisant nLite.
C´est un programme qui permet de supprimer pas mal de paramètres et de programmes de windows.
Mais c´est pas une bonne idée.
Il y a encore pas mal de sites qui nécessitent d´avoir IE, ou un autre navigateur basé sur son moteur.