Sur le site que je suis en train de concevoir, si tu désactives javascript, tu ne peux tellement rien faire que j'affiche une page spéciale pour ça. Au niveau performance, ça tourne bien sur tablette et mobile, c'est le principal.
Il faudrait passer un coup de profiler sur jv.com pour voir où sont précisément les goulots d'étranglement dont tu parles. Sans cette vérification, la lenteur peut tout aussi bien être liée à un appel synchrone à quelque chose qui met des plombes à répondre.
En supprimant javascript, tu perds la possibilité de recourir à Ajax et à la manipulation en direct de la page. Tu me diras que tout peut être fait côté serveur. Oui. Mais au prix d'une bande passante et de ressources plus importantes. En déléguant une partie de la couche présentation au client, tu économises sur ces points et peut, paradoxalement, augmenter la sensation de réactivité sur ton site (Pas besoin d'attendre une page complète pour la charger).