En fait, c'est plutôt le contraire : puisque tu n'as pas besoin de faire du dégât via des skills magiques, tu peux mettre beaucoup en physique, pour te permettre d'avoir de bonnes armures à haut niveau.
Même si l'invocateur est en effet censé éviter les baffes, c'est pas la peine de se priver.
Mais il faut quand même surveiller l'esprit pour les prérequis d'anneaux (mais ça c'est vraiment pas difficile même à haut niveau) et surtout si tu as la chance de looter le http://grimdawn.wikia.com/wiki/Empowered_Black_Grimoire_of_Og'Napesh qui est ultime pour ce type de build, mais qui demande pas mal en esprit.
... Mais bon, faut le choper, lui, c'est un drop vraiment pas fréquent, mon invocateur a du s'en passer jusqu'ici :/
Je dirais que pour être peinard, tu fais 2/3 physique, 1/3 esprit et ça devrait aller.
Au passage, c'est une classe phénoménale niveau efficacité, nettement mon perso le plus efficace.
J'ai fait un truc inspiré de http://www.grimdawn.com/f/forums/showthread.php?t=24703 , mais pas en le suivant à la lettre (notamment pendant le leveling) et avec un stuff bien plus modeste.
Mais même, c'est monstrueux...
Par contre le leveling est un peu tristounet : c'est un peu la misère pour équiper ton perso, parce que les bons items avec bonus pour familiers tombent pas si souvent.
Et côté combat c'est pas super dynamique : tu lances tes buffs/débuffs, et après tu regardes 
Disons que c'est pas le perso le plus excitant que j'ai joué, même si ça reste rigolo de tout nettoyer sans rien faire comme dégât ^^