Le "out of range" peut avoir 2 causes :
1 - La resolution demandee qui est trop grande, mais dans ton cas ce n´est sans doute pas ca, sauf si tu t´es trompe en affirmant que ton ecran mange le 1280*1024 ;
2 - La frequence de rafraichissement : si elle est trop haute, l´ecran ne peut pas synchroniser.
Exemple : je suis personnellement en 1280*1024 à 85 Hz.
Si j´essaie en 1600*1200 à la meme frequence, j´obtiens un ecran noir et une erreur "machin out of range" aussi.
Si je descends en 1600*1200 mais à 72 Hz, tout fonctionne nickel.
Tu peux essayer de regarder dans tes proprietes d´affichage quelle frequence est prevue pour le 1280.
Essaie de la baisser, et relance ton jeu pour voir.
Si non, il faudra essayer l´override dans directX, ou utiliser un programme de lock des frequences, comme RefreshLock ou RivaTuner (j´utilise les deux, en complement l´un de l´autre, et ils fonctionnent tres bien sur les nVidia).