Tout est viable, dans le jeu : ça dépend de ta façon de jouer, donc des skills que tu utilise le plus souvent, et qui seront ainsi plus puissantes.
En début de partie, je le déconseille quand même : tu ne sera pas assez "costaud" pour porter une armure lourde efficacement, et ton inventaire va s'en trouver pénalisé.
L'idéal, ce serait de faire le début en armure légère/tissu, quitte à s'entrainer moyennant finances à l'armure lourde.
Plus tard dans le jeu, l'association armure lourde/magie ne pose aucun problème.
Contrairement aux règle de D&D par exemple, l'armure lourde ne pénalise pas les sorts dans TESV.
Après, les bonus magiques se rencontrent sur un peu tous les types d'armures, même si tu as des robes avec de solides bonus, surtout en début de partie.
Enfin sache que si tu joue un mage "full magie", une armure ne te sera pas d'une très grande utilité : tu possèdera des sorts qui renforceront ton armure, ta résistance aux dégâts, etc...