Déjà, en général tu peux éteindre un PC en restant appuyé sur le bouton d'alimentation (environ 3-5 secondes).
Mais j'ose espérer que tu ne feras pas ça une fois que Windows sera installé. 
Deuzio, pourquoi utiliser Rufus ? Télécharge le Media Creation Tool officiel de Microsoft et crée-toi ta clé d'installation comme ça, ce sera beaucoup plus simple, et tu es sûr de ne pas faire d'erreur. 
Tertio, pour booter sur ta clé d'installation, il faut que tu ailles dans le BIOS pour définir l'ordre des périphériques sur lequel ton PC va démarrer.
Normalement tu définis ton SSD en 1er, et les suivants on s'en fout… car tu dois aussi avoir une option qui te permet de booter sur le périphérique de ton choix juste une fois (comme diraient nos amis belges) ; si tu trouves ces options, tu mets ton SSD comme périphérique de démarrage par défaut, et ensuite tu vas dire au BIOS de lancer ta machine "juste une fois" sur ta clé USB, ce qui permettra au PC de ne pas boucler sur ladite clé USB dès le 1er redémarrage (et de relancer l'installation encore et encore).
(Je ne sais pas si c'est très clair, mais bon…)
Bien sûr, pour ça il faut accéder au BIOS. Comme kolya89 le dit, il faut spammer les touches F2 ou Suppr dès que tu allumes le PC (dans 99% des cas, c'est l'une de ces 2 touches, pas de bol si c'est une autre, il faudra lire le manuel de ta carte mère).
Bon courage.