C'est un problème connu de la xbox one.
Après essait de tester une autre manette pour voir si ça te le fait aussi, si c'est le cas ça vient de ta console qui a un problème de désynchronisation. Sinon essaie aussi si tu as le câble play and charge de l'utiliser