Bon perso j'ai trouvé la solution.
Le wifi est la base du problème, personne de connecté en ethernet n'a de freezes.
Du coup j'ai testé en connectant ma console sur mon pc (lui même connecté en wifi) via l'ethernet. Et la, magie, il est possible de rentrer dans une partie. Maintenant le problème que j'ai, tout aussi chiant, ce sont des déco intempestives du xbox live, mais je pense que ça vient du PC.
Donc pour résumer, si certains veulent tenter, connectez votre console en ethernet sur le pc.