A ta place je jetterais le câble. Ce n´est sûrement pas un vrai RGB, et comme tu le dis c´est plus flou qu´avant alors que le résultat devrait être l´inverse.
Je te conseille d´acheter le RGB officiel de Nintendo, je l´ai vu à 15€.
Ensuite, oui on peut avoir un équivalent du 5.1 avec les jeux compatibles ( Mario Sunshine, Metroid, Burnout 2, Rogue Squadron II et III, etc.). C´est le Dolby ProLogic II. Il ne suffit pas d´avoir 5 enceintes ( plus caisson de basses) mais il faut aussi avoir un décodeur Dolby ProLogic II. A partir de là on peut profiter d´un son équivalent à du 5.1 : tu peux entendre les ennemis arriver derrière toi, on les localise bien plus facilement...
Après, pour profiter du RGB Nintendo et du 5.1, ben c´est un peu compliqué vu que le RGB n´a pas de sortie audio. Il va falloir acheter un petit boîtier à insérer entre la sortie Péritel du câble RGB et l´entrée Peritel de ta TV :
http://perso.wanadoo.fr/spyromedia/nintendo/blocRCA.jpg
Ce boîtier possède deux sorties audio.
Enfin consulte ce topic :
https://www.jeuxvideo.com/forums/1-5-9159534-1-0-1-0-0.htm
et ces articles :
http://perso.wanadoo.fr/sspyromedia/nintendo/dolby.html
http://perso.wanadoo.fr/sr/spyromedia/nintendo/RGB.html