Inutile de se replonger dedans, t'en fais pas.
Dans l'absolu si t'aimes vraiment tu veux lire les deux. Maintenant si tu veux découvrir l'histoire via son support original telle qu'elle a été conçue et écrite, priorité au Light Novel (qui est aussi bien plus complet). Et cette règle ne change jamais vraiment peu importe ce que tu mattes, on te redirigera vers le support original (Visual Novel pour Fate, manga pour One Piece, les romans pour les 12 royaumes).
Après t'es libre de décider si tu veux découvrir l’œuvre originale en dernier ou en premier, c'est ton choix.
La différence c'est que le manga n'adapte pas purement et simplement le LN, il prend des libertés, tout comme l'anime et saute des passages (des tomes entiers à vrai dire). Mais si t'aimes les persos et l'univers lire une version alternative de leurs aventures et voir une nouvelle représentation des villes te fera toujours plaisir.
Une représentation de la chose : https://www.reddit.com/r//SpiceandWolf/wiki/differences (à noter qu'un tome du LN français = 2 tomes du LN US/Jap)
personne ne s'aligne vraiment sur quel tome/manga il faut débuter pour reprendre la suite de l'anime.
Parce que l'anime (aussi) effectue des changements et saute des trucs. Et sur le long terme, ça a justement un impact (tu retrouves un perso d'un arc sauté par l'anime plus tard dans le LN, donc si tu recommences pas le LN "dès le début", bah une fois arrivé à ce point, tu te demanderas si t'as pas loupé un train).
Encore une fois, si ça te plait, lire une version alternative ou repasser sur des évènements que tu as vu dans l'anime, mais dans un autre support, ne te dérangera pas.
Pour répondre à ta question : L'anime s'arrête à la moitié du tome 3 français du LN. Mais il saute la moitié du tome 2 et avait déjà pris des libertés dans l'adaptation du tome 1 (changement de sexe de perso et j'en passe). Donc fais pas chier et relis tout 
Quand au manga, j'sais plus
, mais ça se lit hyper vite so...