Un VPS pour un serveur de jeu ce n'est jamais une bonne idée. Contacte déjà ton hébergeur pour qu'il te fasse un diagnostic mais tu dois pouvoir voir la conso en ressources de ton serveur j'imagine si tu as un accès root. Le plus probable c'est que ta bande passante soit trop faible dans le cas où ce n'est pas un problème de conso CPU/RAM.
Mon expérience me ferait toutefois pencher à un problème de conso CPU, pas forcément la tienne mais vu que tu es sur un VPS les ressources sont partagées avec d'autres clients et si tu tires sur le CPU en même temps que les autres ça dégrade les perfs (d'où l'intérêt de ne pas utiliser de VPS pour des serveurs de jeu).
2.5Ghz c'est pas ouf non plus, on est en 2015, pour du gaming vise au minimum 3GHz , la plupart des hébergeurs de serveurs de jeux proposent du 3.5 - 4Ghz.
Bref il y a plusieurs pistes à suivre.
PS: je viens de regarder la page de l'offre que tu as prise et même ton hébergeur la déconseille pour du gaming (ils mettent 2 étoiles sur 5, bizarrement ils la déconseillent un peu pour tout...).
Loue plutôt un serveur livré prêt à jouer, tu n'auras pas de souci d'administration de machine et au moindre souci tu fais appel au support.