Je me permet de m'auto répondre, on sait jamais, ça peut intéresser des gens.
En faut si on change la qualité dans le fichier /etc/pulse/daemon.conf (genre de 44100 à 48000 sur l'option "default-sample-rate") on a des grésillements quand on change le volume des applications ou des vidéos.
Remettre les réglages par défauts règle ce problème, mais bon, c'est bizarre que le fait de changer une option comme celle-là créer des problèmes.
J'ai un peu l'impression que tout ce qui est en rapport avec le son n'est pas au niveau de Windows sur Linux (soit je me foire totalement dans mes réglages ou je passe à côté de quelque chose).
Enfin bref, n'hésitez pas si vous avez quelques astuces pour améliorer la qualité du son sans que cela ne créer d'autres petits problèmes.