Ce sont les options qui diffèrent. Sur le H.264 tu as plusieurs profiles (Main, Baseline, etc...) tandis qu´avec le x264 tu peux (théoriquement) tout choisir toi même.
C´est plus difficile d´accès mais si tu maîtrises ça peut être intéressant. Mais au final c´est quasiment la même chose, c´est intercompatible, et ça reste bien au dessus de tous les autres codec.