Le plus gros de la lenteur des sites ne viens pas de leur éloignement. Il peut y avoir de nombreuses raisons : poids trop lourd, ou accès base de données trop lents, lenteur et lourdeur de tout l'écosystème de pubs associé, etc.
Un exemple marquant : "RGPD : la version européenne de USA Today pèse 500 Ko contre 5,2 Mo pour la version originale" : https://www.developpez.com/actu/206032/RGPD-la-version-europeenne-de-USA-Today-pese-500-Ko-contre-5-2-Mo-pour-la-version-originale-d-apres-les-mesures-d-un-webmaster/ c'est à dire que de nos jours le plus gros du poids d'une page web c'est le système de tracking et de pubs...
Cette version européenne de USA Today (RGPD) se charge quasiment instantanément à partir de la France...
Prends un site statique comme on faisait avant, avec un poids raisonnable, avec le code du site dans le cache du serveur, la page apparaitra presque instantanément, même si tu es à l'autre bout du monde par rapport au serveur. Le ping c'est au pire quelques centaines de millisecondes (quelques dizaine sur l’Europe seule). Un site lent c'est plusieurs secondes de chargement.
Tu peux te poser cette question si ton site se charge en moins d'une seconde, si ton site se charge en 2 à 5 secondes il faut chercher ailleurs. Un article sur ce sujet : http://www.cafe-numerique.com/digital-analytics/webperf-sites-media-mieux-faire-907