Résumé: le nouveau Frame Generation Nvidia ne va plus utiliser l'accélérateur matériel Optical Flow, mais les Tensor Cores.

"Au CES 2025, Digital Foundry a interviewé Bryan Catanzaro, VP d'Applied Deep Learning Research, à propos de l'annonce de NVIDIA DLSS 4 et de ses nombreuses améliorations en matière de super résolution, de reconstruction des rayons et de génération d'images.

Bryan Catanzaro a parlé des nouveaux modèles de transformateurs qui remplacent les CNN (réseaux neuronaux convolutifs) pour la super résolution et la reconstruction des rayons. Ces modèles sont tout simplement beaucoup plus intelligents, peuvent être entraînés sur des ensembles de données plus importants et font donc de meilleurs choix, ce qui permet d'améliorer les défauts historiques de NVIDIA DLSS tels que le shimmering ou le ghosting. Le nouveau modèle Super Resolution, par exemple, est quatre fois plus puissant que le précédent. Catanzaro n'a pas donné d'estimation sur le temps de rendu supplémentaire que cela coûtera, mais il a déclaré que NVIDIA pensait que c'était la meilleure façon de jouer sur les nouvelles cartes graphiques GeForce RTX 50 alimentées par Blackwell qui seront lancées dans le courant du mois.

Le patron de NVIDIA DLSS n'exclut pas la possibilité d'une prise en charge de la génération de trames pour la série RTX 30

La génération d'images est également revue, abandonnant le modèle précédent basé sur l'accélérateur matériel Optical Flow pour une solution entièrement basée sur l'IA.

Voici pourquoi NVIDIA procède ainsi :
Lorsque nous avons créé NVIDIA DLSS 3 Frame Generation, nous avions absolument besoin d'une accélération matérielle pour calculer l'Optical Flow. Nous n'avions pas assez de Tensor Cores et nous n'avions pas d'algorithme d'Optical Flow suffisamment performant. Nous n'avions pas développé d'algorithme de flux optique en temps réel fonctionnant sur des Tensor Cores et correspondant à notre budget de calcul. Nous avions l'accélérateur Optical Flow, que NVIDIA construit depuis des années comme une évolution de notre technologie d'encodage vidéo, et qui fait également partie de notre accélération de la vision par ordinateur pour les voitures auto-conduites.

Il était logique que nous l'utilisions pour NVIDIA DLSS 3 Frame Generation. Mais la difficulté de toute implémentation matérielle d'un algorithme tel que l'Optical Flow est qu'il est vraiment difficile de l'améliorer. Il est en quelque sorte ce qu'il est et les défaillances qui sont apparues avec cet Optical Flow matériel, nous ne pouvions pas les réparer avec un réseau neuronal plus intelligent jusqu'à ce que nous décidions de le remplacer et d'opter pour une solution entièrement basée sur l'IA, et c'est ce que nous avons fait pour la génération d'images dans DLSS 4.

Le nouveau modèle de génération de trames est plus lourd en Tensor Cores, mais il utilise moins de VRAM, offre une meilleure qualité d'image (ce que Catanzaro a jugé critique, en particulier pour la nouvelle génération de trames multiples disponible sur les nouveaux GPU RTX 50), et est également plus efficace car le coût a été amorti sur plusieurs trames.

Alex Battaglia de DF a demandé si le nouveau modèle pouvait être porté sur du matériel plus ancien comme la série GeForce RTX 30, et le responsable de NVIDIA DLSS n'a pas fermé la porte.

Je pense qu'il s'agit avant tout d'une question d'optimisation, d'ingénierie et d'expérience utilisateur. Nous lançons cette Frame Generation, la meilleure technologie Multi Frame Generation, avec la série 50, et nous verrons à l'avenir ce que nous pourrons tirer d'un matériel plus ancien.

Pour rappel, lorsque NVIDIA a introduit la génération d'images avec les cartes graphiques GeForce RTX 40, Catanzaro lui-même a expliqué que cette fonction était exclusive aux nouveaux GPU de l'époque parce qu'ils disposaient d'un accélérateur matériel Optical Flow bien meilleur que celui de la série RTX 30. À l'époque, il a également déclaré qu'il était théoriquement possible de la porter sur du matériel plus ancien, bien qu'elle ne soit probablement pas aussi bénéfique.

Le nouveau modèle supprimant l'accélérateur matériel Optical Flow, il semble que la porte soit ouverte à cette éventualité. Cependant, Catanzaro a également déclaré que les exigences en matière de Tensor Core étaient plus élevées et que l'ancienne architecture GPU offrait évidemment de moins bonnes performances en matière de Tensor Core. Nous verrons si NVIDIA peut vraiment y parvenir.

Ailleurs dans l'interview, Bryan Catanzaro a souligné l'importance de découpler le flip metering mis à jour du CPU afin de réduire la variabilité du temps d'image (et, par conséquent, d'améliorer le rythme des images) par un facteur de cinq à dix par rapport à la situation précédente. Enfin, il a affirmé que jouer à un jeu avec Reflex 2 (qui est également basé sur l'IA) donne l'impression d'être beaucoup plus "connecté" et il pense que les joueurs particulièrement sensibles à la latence l'apprécieront."

https://youtu.be/uyxXRXDtcPA?si=-ZsNR4RTjM0XBfgQ

https://wccftech.com/nvidia-dlss-boss-doesnt-rule-out-possible-frame-generation-support-for-rtx-30-series/

Pas du tout, niveau tensor cores, une serie 4000 est deja plus que limite par rapport à la série 5000.
Alors une série 3000 c'est même pas la peine.

J'ai vu une vidéo d'un youtubeur français qui était à las vegas lors de la présentation de la serie 5000, il a tout expliqué en détails.

Et le FG de la série 5000 aura 3 frames calculées, alors que sur serie 4000, une seule frame calculée.

Par exemple si sur un jeu tu as 100 fps avec le fg sur une serie 4000, sur une serie 5000 tu auras 300 fps, et avec un rendu de meilleure qualité.

Tu fais bien de poster, car une personne sur le forum a 2500€ et veut se faire un pc, ils lui disent de prendre une serie 4000 ...
C'est carrément du sabotage de ne as proposer une serie 5000, mais parfois les gens sont bornés ou ne comprennent pas, je ne sais pas.

[22:34:38] <pucman2>
Pas du tout, niveau tensor cores, une serie 4000 est deja plus que limite par rapport à la série 5000.
Alors une série 3000 c'est même pas la peine.

J'ai vu une vidéo d'un youtubeur français qui était à las vegas lors de la présentation de la serie 5000, il a tout expliqué en détails.

Et le FG de la série 5000 aura 3 frames calculées, alors que sur serie 4000, une seule frame calculée.

Par exemple si sur un jeu tu as 100 fps avec le fg sur une serie 4000, sur une serie 5000 tu auras 300 fps, et avec un rendu de meilleure qualité.

Tu fais bien de poster, car une personne sur le forum a 2500€ et veut se faire un pc, ils lui disent de prendre une serie 4000 ...
C'est carrément du sabotage de ne as proposer une serie 5000, mais parfois les gens sont bornés ou ne comprennent pas, je ne sais pas.

Me suis déjà fait avoir une fois au marketing NVIDIA avec la rtx 3070 ti Resultat 2 ans à peine vram limité et c'est pas le fg qui va faire du miracle

Tu fais bien de poster, car une personne sur le forum a 2500€ et veut se faire un pc, ils lui disent de prendre une serie 4000 ...
C'est carrément du sabotage de ne as proposer une serie 5000, mais parfois les gens sont bornés ou ne comprennent pas, je ne sais pas.

Pour une nouvelle config, oui il faut mieux prendre une 5000.

Le 19 janvier 2025 à 22:34:38 :
Pas du tout, niveau tensor cores, une serie 4000 est deja plus que limite par rapport à la série 5000.
Alors une série 3000 c'est même pas la peine.

J'ai vu une vidéo d'un youtubeur français qui était à las vegas lors de la présentation de la serie 5000, il a tout expliqué en détails.

Et le FG de la série 5000 aura 3 frames calculées, alors que sur serie 4000, une seule frame calculée.

Par exemple si sur un jeu tu as 100 fps avec le fg sur une serie 4000, sur une serie 5000 tu auras 300 fps, et avec un rendu de meilleure qualité.

Tu fais bien de poster, car une personne sur le forum a 2500€ et veut se faire un pc, ils lui disent de prendre une serie 4000 ...
C'est carrément du sabotage de ne as proposer une serie 5000, mais parfois les gens sont bornés ou ne comprennent pas, je ne sais pas.

C est surtout que tu vas avoir 100 jeu qui utilise une techno, et tu vas payer 1200e ta 5080.
Alors que tu peux avoir une 4080 d occas a 700e.

Bon après, je dis sa, mais les 5070 si on osef de la vram, et 9070/xt me semble bien mieux a proposer dans les pc.

Et a 2500e, tu peux caser une 5090, a 2000e et choper le reste occasion, comme une tour AM5 a 7/800e, et revendre le GPU pour y mettre le 5090.

Le 19 janvier 2025 à 22:34:38 :
Pas du tout, niveau tensor cores, une serie 4000 est deja plus que limite par rapport à la série 5000.
Alors une série 3000 c'est même pas la peine.

J'ai vu une vidéo d'un youtubeur français qui était à las vegas lors de la présentation de la serie 5000, il a tout expliqué en détails.

Et le FG de la série 5000 aura 3 frames calculées, alors que sur serie 4000, une seule frame calculée.

Par exemple si sur un jeu tu as 100 fps avec le fg sur une serie 4000, sur une serie 5000 tu auras 300 fps, et avec un rendu de meilleure qualité.

Tu fais bien de poster, car une personne sur le forum a 2500€ et veut se faire un pc, ils lui disent de prendre une serie 4000 ...
C'est carrément du sabotage de ne as proposer une serie 5000, mais parfois les gens sont bornés ou ne comprennent pas, je ne sais pas.

Le choix d'une 5000 plein pot peut grandement dépendre des conditions de viabilité du MF. S'il faut encore ~90fps natif pour avoir un truc seemless, c'est gadget.

Si vraiment ils parviennent à assurer une qualité d'image et une latence imperceptible à ~40-60fps natif, alors on peut commencer à discuter. Avec une 3eme condition que ça ne soit pas à la gueule du jeu et au bon vouloir de l'opti du studio derrière, parce que là aussi on sait ce que valent ces promesses.

Vu la discussion, la réponse du VP est plutôt négative : "on va voir ce qu'on peut tirer des anciens modèles".

Alors qu'il vient d'expliquer que le DLSS4 demande plus de puissance de calculs et rendu possible par un budget de tensor cores plus important.

Puis ça match pas trop avec le choix de nvidia de cette gen de maxer l'IA plutôt que d'apporter des gains en raster.

Oui en gros ça sera certainement à partir d'une 3080 et + haut

Comme le dlss super résolution, il sera toujours plus efficace sur les 5000 grâce au hardware tensors cores.
Le framegen fonctionnait déjà sur les 3000 mais la charge des calculs faisaient perdre les gains en fps.
Sans le module hardware OFA le gain sera minime et les fps de base font faire très mal à la latence, à moins que Reflex 2 ne soit aussi bon qu'ils le disent.