C:\Users\votre nom de pc\AppData\Local\Microsoft\Media Player
Et supprimer tout sauf le fichier data base (que de toute façon la fenêtre ne vous laissera pas le supprimer)
Quand vous relancerais Windows média Player la bibliothèque sera vide puis se régénérera avec vos bibliothèque actif et propre (musique/vidéos et…)