Le choix entre oldrim et la Special edition c'est personnel. Il y a pas de meilleure solution.
Ce que tu dois savoir pour faire ce choix :
-Oldrim 
a la possibilité d'avoir des graphismes supérieurs, a condition d'avoir une config qui tient la route. Via un ENB, tu as des options d'amélioration graphiques supplémentaires. Notamment concernant la réflexion sur les objets, et l'environnement. Les ENB les mieux travaillés permettent donc d'avoir un rendu inégalable par la special édition.
Plus de mods évidemment, dont certains abandonnés ou finis qui ne seront donc jamais portés sur la SE. Après ça dépend énormément de tes goûts, et si tu considères un mod particulier comme un must have. Ça va surtout concerner les mods de gameplay, puisque les textures et mods graphiques (hors ENB) de qualité ont quasiment chacune leur version SE.
Spécial edition 
Version beaucoup plus stable, donc plus facile à modder, et surtout moins limitée. Concrètement ça te permet d'avoir plus de choses affichées à l'écran, mais aussi plus de pnjs gérés par le jeu, sans risquer de crash.
Le jeu est plus beau de base, et avec un ENB il est possible d'avoir un rendu tout à fait correct. De plus, tu peux installer en théorie plus de textures et plus de "refonte" (les mods qui vont ajouter beaucoup de détails aux villes par exemple), ce qui contrebalance un peu la différence de rendu pur avec oldrim.
La plupart des bons mods sont sur SE. Pour les mods graphiques, la plupart sont là, à part pour les Lods (objets lointains) et les arbres (EVT n'y est pas, mais il ya SFO si tu es peu regardant sur la qualité des textures ou d'autres que je n'ai pas essayé).
Niveau gameplay, les bons modders, récents qui font du travail propre ont porté leur mods sur SE (Enaisiaion notamment). Le seul manque, ça va être sur des mods plutôt accessoire, qui vont te permettre de jouer les jarls par exemple, gérer un business, ce genre de choses, les mods bonus quoi, qui sont un peu en retrait de l'expérience de jeu principale.
Pour les grosses extensions style Falskaar, qui prolongent la durée de vie, je ne sais pas si elles ont été portées, à toi de te renseigner.