Ayant trouvé la solution, je vous le propose, puisqu'en ayant cherché pour moi-même, je ne l'ai point trouvé sur ce forum !
Il faut aller dans Mes Documents\My Games\Oblivion.
Ouvrir "Oblivion.ini" dans un éditeur de texte. Taper sur Ctrl-F pour faire une recherche dans ce fichier, et chercher "Language" (avec le u puisque c'est l'orthographe anglaise). On va trouver ça :
;Language values: 0-English, 1-German, 2-French, 3-Spanish, 4-Italian
iLanguage=0
Changer "iLanguage=0" par "iLanguage=2", sauver, et voilà, c'est fait, le clavier est AZERTY.
Voilà 