ATI c'est pas nul comme carte graphique, stoppez vos préjugées à 2 balles un peu ...
La 3870 est une très bonne carte, et je doute que ton problème vienne de DX10.
Cela-dit je te conseillerais 3 Go de RAM et non 4, cela suffit largement.
Ensuite vire des pilotes CG et ré-installe les.
Sinon, un marteau ou une fenêtre si tu habites en immeuble et le problème est vite réglé 