Ta pas une option pour mettre un mot de passe différent sur la fréquence 2,4ghz ou 5ghz ?
Prennez avec des pincettes tout ce que j'vais dire car j'suis pas du tout expert dans le domaine.
Mais dire que t'es en wifi 6 ça veux rien dire il me semble.
Ton wifi 2,4ghz est en norme wifi 6 si ta box te le permet 
Pour pas avoir de soucis l'idéal est sur le casque d'être prêt de ta box, et de la connecter au wifi 5ghz, pas au 2,4ghz.
Pour bien se faire il faut séparer le wifi 2,4ghz et le 5ghz, c'est paramétrable sur ta box via une page internet ou une application.
Je suis chez orange aussi, mais j'ai opter pour un routeur wifi en désactivant le wifi de la box de orange.
Sur mon wifi 5ghz j'ai que mon casque vr, ou mon Steam deck par exemple.
Tout le reste sur le wifi 2,4ghz.