Le MSAA c'est plus ou moins l'anti antialiasing classique. Netoyage de bords et hop.
Le FXAA c'est un shader qui fait le lissage. C'est plutôt les consoles qui agissent comment ça mais depuis quelques temps, c'est une option qui viens sur PC.
Le MSAA fait généralement un boulot plus efficace.