je dirais résolution d'encodage trop faible ;)
faut dire que j'ai l'impression en voyant les avant/après (j'ai pas tout regardé), qu'il fait grimpé la saturation, ce qui a tendance à faire ressortir les pixels, qui sont notemment visibles sur les bords (aliasing) pour donner un truc bien laid... tu rajoutes à ça le fait que tu downscale la vidéo d'origine et ça donne que tu vois pu rien ;)
Alors jsuis pas un pro et je peux me tromper sur certains termes, mais essaye voir d'encoder en 720p déja ;)