Hum, à ma connaissance, il existe pas de moteur spécialisé dans les RPG en 3D et qui soit accèssible au publique.
Tu peux allez voir à cette addresse une liste de la plupart des moteurs gratuit ou non gratuit:
http://www.devmaster.net/engines/
Mais bon, le choix du moteur dépend surtout de tes connaissances en programmation, et il faut au minimum une base en prog pour faire un jeu.