Déjà :
Tu utilise le pilote libre pour ta carte ou pas ?
Pour les logiciels :
J'utilise ffmpeg en ligne de commande.
Quasiment tous les outils graphiques comme RecordMyDesktop sont des simples interfaces graphiques qui utilisent ffmpeg.
C'est pour ça que je préfère directement passer par ffmpeg, qui me donne beaucoup d'informations comme le nombre d'images par secondes et/ou les erreurs si il y en a.
Très utile pour savoir ce qui cloche.
Lorsque l'image saccade, ça veut parfois dire que le taux d'images par secondes sélectionné est trop élevé pour ton PC.
Fais un tour dans les réglages du ton logiciel.
Parce que enregistrer ton écran ça demande un CPU assez puissant pour avoir une vidéo potable.