Bon, je sais que c'est un déterrage, mais je voudrais apporter quelques précisions, car là, on dit tout et n'importe quoi...
Le MSAA consiste en un rendu offscreen sur une texture multisamplable, et lors du rendu on screen on récupère plusieurs échantillons depuis cette texture (de 2 à 8, en fonction du MSAA choisi, X2, X8...), on fait la moyenne des échantillons récupérés, et on affiche la couleur ainsi obtenue.
Le FXAA consiste en un flou appliqué aux endroits où il y a de grosses différences de couleurs, en utilisant l'image courante, ce qui résulte généralement en un flou assez moche, mais bon, quand on n'a pas accès au MSAA, on fait comme on peut (certaines méthodes de rendu ne permettent pas d'utiliser le MSAA aisément, je précuiserai après)
Le TXAA est une méthode se rapprochant du FXAA mais elle prend en compte l'image précédente, pour calculer des vecteurs de déplacement des pixels (et des vertex liés) et effectue un flou en prenant en compte ces vecteurs, ce qui résulte en un flou mieux maitrisé que le FXAA, mais comme il a déjà été dit, elle n'est disponible que sur matos NVidia en hardware, mais peut être implémentée dans le moteur avec pas mal de séances d'arrachages de cheveux.
Le MSAA est généralement celle qui produit les meilleurs résultats, globalement, et elle permet de ne pas se casser les dents sur les modèles contenant de la semi transparence (qui sont un enfer à gérer correctement sans MSAA). Son gros désavantage est la consommation mémoire vidéo qu'elle occasionne, car une texture MSAA 8x prend autant de place que 8 textures classiques, ce qui peut être handicapant...
Le TXAA est joli mais demande pas mal de calculs, donc est généralement plus lent que le TXAA.
Le FXAA est la solution de dernier recours...
Je disais que certaines techniques de rendu ne permettent pas d'utiliser le MSAA simplement, je parle d'une technique appelée deferred lighting. Cette technique consiste à calculer les informations géométriques des modèles (positions des sommets, normales, couleurs... en gros tout ce qui est nécessaire pour calculer l'éclairage), et de stocker ces informations dans des textures pour s'en servir par la suite, lors du calcul de l'éclairage.
Cette technique a comme gros intérêt de détacher la complexité du calcul de l'éclairage des calculs des données géométriques. Ca permet du coup de calculer un nombre (beaucoup) plus important de sources lumineuses (grâce à des techniques d'optimisations sur lesquelles je ne vais pas m'attarder).
Son désavantage est l'occupation mémoire vidéo : on utilise généralement 4 textures à la taille du rendu (donc 1080p dans les jeux vidéo).
Si on active le MSAA en utilisant cette technique, il faut que toutes les textures de la passe de calculs géométriques soient multisamplables, ce qui est énorme (en MSAA x8 sur du full HD, ça fait 4(textures) x 1920(largeur) x 1080(hauteur) x 8(MSAA) x 4 (octets par composante de pixel) x 4(composantes par pixel) = environ 1Go!!). Sans compter que le tampon de profondeur doit lui aussi être multisamplable, et que contrairement au rendu classique (appelé forward rendering) il faut résoudre les multiples échantillons à la main, ce qui n'est pas si aisé.
C'est la raison de la naissance des techniques alternatives d'antialiasing telles que FXAA, TXAA, MLAA...