Je suis vraiment étonné, je vais pas crier victoire trop vite mais le problème semble s'être arrêté 
J'ai donc essayé de me connecter à la Livebox directement, et j'ai donc utilisé un autre câble Ethernet, ça a marché et mon ping était normal. Après ça j'ai essayé de me remettre avec mon ancien câble + connecté au "port"mural, et le ping est également normal 
Du coup je me retrouve dans la configuration initiale, sauf que les hausses de ping qui étaient là depuis 3 semaines ont disparus. En tout cas si jamais ça dure, merci beaucoup !