"-Est ce que tout cela vous semble possible/cohérant? "
Oui, je pense également que la priorité actuellement est la carte graphique, le core 2 Quad peut encore tenir un peut il n'est pas totalement obsolète.
Et le rajout de mémoire vive ne sera pas du luxe, 4 Go est le minimum aujourd'hui, donc oui passer à 8 Go est souhaitable.
Et Windows XP commence à devenir vieux.
"-Mes 450W d'alimentation actuelle sont il suffisant? "
Pour une GTX 770 oui, ça passera peut être mais elle sera beaucoup sollicité ce qui n'est pas conseillé du tout. Donc je te conseil d'acheter une bonne 550 W, surtout si tu comptes overclocker.
"-Quand je changerai de carte mère faudra-t-il réinstaller le windows? "
Oui obligatoirement
"-En montage je n'y connais rien c'est dur à faire?"
Très franchement non, en suivant un bon tutoriel, avec l'aide du forum, de la patience et un peu de bon sens ça se fait sans soucis.