Ça dépend des mods.
Certains peuvent ajouter de nombreux éléments dans une zone par exemple, et ton PC devra gérer toutes les interactions que cela impose. Si la zone a trop d'objets, ton PC pourrait être à la traîne, et tu auras des ralentissements plus ou moins gros dans la région. Ou le jeu crashera.
Mais généralement ça a moins d'impact que les mods graphiques oui. De là à dire que ça n'en a aucun, non.