Certains passages des films sont raccourcis par rapport aux bouquins, et d'autres explications sont données dans le Silmarillon. Pour faire simple à la base le Dieu "Eru iluvatar" a créé plusieurs autres divinités appelés les Ainurs. Il leur a ensuite donné une vision du futur sous forme de musique. Chaque partition représentait une partie du destin du futur monde qu'il allait forger. Bref Eru est le big boss, et les Ainurs écoutaient attentivement sa musique. A mesure que la musique s'écoulait, la création de la Terre se déroulait. Mais l'un des Ainurs (le plus puissant d'entre eux, et le préféré d'Eru) décida de lui-même de rajouter une partition et tenta de pervertir la musique originelle. Une fois la planète créée, Eru autorisa les Ainurs qui le souhaitaient à s'installer sur cette nouvelle terre, à condition d'abandonner une partie de leur divinité.
Une fois arrivés sur terre, les Ainurs furent divisés en deux catégories : Les Valars (les plus puissants d'entre eux, des Dieux vivants) et les Maiar (des sortes de demi-Dieux, chargés d'aider les Valars). Au nombre de 7, les Valars utilisèrent leurs pouvoirs pour forger le monde (en créant les éléments, la vie etc...). Mais le plus puissant des Valars (aka Melkor, celui qui avait déjà défié Eru) décida que ce monde était sien et que les autres lui devaient obéissance. A lui seul, il lutta contre les 6 autres Valars (et leurs Maiar). Une partie des Maiar rejoignirent Melkor, des divinités qu'il renomma les Balrogs. Alors qu'il remportait la guerre, le 8ème et dernier Valar débarqua sur Terre, et rééquilibra le jeu. Au fil du temps, de nombreuses guerres eurent lieu, provoquant des cataclysmes naturels. Après la dernière grande guerre contre Melkor (surnommé Morgoth), les Valars partirent à l'autre bout du monde, laissant les hommes et les elfes se démerder seuls.
J'ai raccourci au maximum, mais en gros les divinités se sont barrées pour laisser les autres races vivre leur propre destin. Sauf que le second de Morgoth, aka Sauron (le plus puissant des Maiar, soit les demi-Dieux) échappa à la dernière guerre et déclara la guerre contre les hommes, elfes et nains. Dans le SDA, il est la plus puissante créature présente sur la Terre du Milieu. Pour rééquilibrer le tableau, les Valars envoyèrent 5 Maiar conseiller les races de la Terre du Milieu (les 5 "magiciens" : Gandalf, Saroumane, Radagast et les 2 autres dont je ne me souviens plus du nom). Donc ce qu'il faut comprendre concernant Gandalf, c'est qu'il n'utilise même pas 10% de ses pouvoirs dans la trilogie du SDA, puisqu'il doit conseiller et non pas soloter des armées entières. Il utilise uniquement une partie de son pouvoir contre le Balrog, qui est techniquement lui aussi un demi-dieu (mais corrompu). D'ailleurs le Balrog ne s'est pas allié à Sauron car ce sont tous les deux des Maiar, donc le Balrog n'a aucune raison de recevoir des ordres de lui, en même temps Sauron est pas tellement en position de combattre dans le SDA.
Pour revenir sur l'invincibilité de Gandalf, il n'est pas vraiment invincible, disons juste que le type appartient à un autre temps. Dans le passé il a déjà combattu des Dragons, des Balrogs, des Loup-Garous, des monstres géants et des cohortes d'orcs aux côtés des Valars. Il joue tout simplement pas dans la même catégorie que les humains. Malgré cela, il meurt de ses blessures après avoir tué le Fléau de Durin (le Balrog de la mine, qui est l'un des derniers survivants des Balrogs). Mais sa mission n'est pas encore terminée, donc Eru Iluvatar le ressuscita pour qu'il puisse finir sa mission (ouais Eru fait un peu ce qu'il veut). Voilà une petite explication 