Je l'ai fait personellement dans une run en tacticien, ca fonctionne, mais ca manque de contrôle magique, du coup. Ya quelques ennemis qui ont souvent 0 armure magique et qui du coup sont sortable avec une tête de méduse / gel / electro etc, et c'est quand on en a plus qu'on le sent bien :p
Cela dit, l'armure physique fond du coup comme neige au soleil, surtout en late game, du coup les combats sont globalement vite expédiés ^^
Si je devais résumer mon avis sur la chose ; ca marche, mais ca perds en polyvalence, et en fun, du moins c'est un avis perso 
PS: As tu envisagé un mage nécromant? les sorts dépendent de l'inté mais tapent en physique, ca peut être un bon plan aussi 