http://www.developpez.com/actu/97090/Le-bogue-rencontre-par-le-client-Skype-sur-Linux-semble-persister-un-utilisateur-se-demande-si-Skype-est-desormais-officiellement-mort/
http://www.pcworld.com/article/3052324/linux/skype-for-linux-is-lagging-behind-and-falling-apart-due-to-microsofts-neglect.html
Bon il semblerait que Microsoft laisse mourir Skype à petit feu sous Linux, donc
C'est con, le problème c'est bien que tout le monde utilise ça.
Cela dit, j'ai réussi à contourner le problème en étant host de la conversation. Pour PulseAudio, merci pour la suggestion, je regarderai ! 