Au cas où quelqu'un aurait le même problème que moi...
J'ai trouvé une solution \o/ : le problème se situait apparemment au niveau du BIOS.
Je suis allé dans le l'onglet "BOOT" du BIOS, je suis allé dans l'entrée "Change Boot Devices Priority" et là j'ai mis mon disque dur en première place (suivi de mon lecteur CD et de ma clé USB).
J'ai donc :
1. Disque Dur SATA
2. Lecteur DVD/CD-R
3. Clé USB
Ensuite j'ai quitté le BIOS en sauvegardant mes changements, j'ai redémarrer et Windows se lance tous seul
Le problème était que la clé USB était en première place, bizarre : il aurait du passer automatiquement au périphérique suivant soit mon disque dur qui était en deuxième place...
Voilà, sujet clot 