tu peux faire un peu comme tu le souhaite mais à un moment donné, tu verras un net gap dans les pains que tu prend, leur impact! Au mieux, j'en ai utilisé un (celui qui fait +5 sur Force, endu, dext, vita) mais jamais 2 en même temps! Tu peux voir leur impac sur tes dégâts en éditant ton équipement puis clic sur stick droit qui change l'affichage de la colle de droite! Mini, utiliser un seul de ses talismans dans sa meilleur version, c'est quasi l'équivalent de 2 bonnes armures (c'est vraiment une estimation à la louche) que tu perd sur tout les type de dégât!
Donc, dès que des boss/mob commencent a taper très fort, le 1-2 shot deviens courant et le jeu, bien plus difficile (surtout si tu es au cac tout le temps)! J'utilisais la plupart du temps un talisman de bouclier draconique pour compenser!
pour résumer, à utiliser dans les premier temps du jeu (la bonne moitier, jusqu'à la capitale en gros) et tant que tes armes et tes stats sont en cours de progression!
Dex/foi => c'est ce que je joue actuellement en NG+. Tu peux facilement alterner entre foudre et feu en choisissant les talismans qui les boost (les talismans scorpion) ainsi que dans la fiole miraculeuse. Après, le danger d'alimenter trop de stat est bien présent ... ce qui ml'est arrivé lors de ma première partie! Du coup, c'est une choix stratégique a faire pour toi! Si tu monte Foi et int (+ le reste), t'a plus qu'intérêt a ce que tu ai des armes uppé au max ... et buffé si besoin au risque d'être très souvent limite en terme de dégats ... mais c'est bien de combattre longtemps, c'est comme ça qu'on progresse le plus 
Mais oui, clairement, il est plus important d'upper ses armes que de focaliser sur la montée des stats ... enfin, l'un va avec l'autre mais la prio, c'est les armes puis la stat qui scale le mieux pour ton (tes) armes!
Tu peux ne pas avoir besoin de monter bcp ta vigueur mais ça exclus un peu l'utilisation des sceaux scarifié qui augmentent drastiquement tes dégats .. et même une énorme armure ne peux compenser cette augmentation! un talisman draconique, oui mais ça ne va qu'un temps!
Après tout dépend de ton niveau de jeu! Un très bon joueur au cac, capable d'apprendre rapidement les patterns et très bien esquiver ... ça change tout et permet même un build très faible!