http://www.zikmao.net/2010/09/optimiser-la-memoire-sous-windows-7.html
Le premier paragraphe devrait résoudre ton probléme, après à toi de trouver la bonne quantité de ram à allouer...
Sinon ton problème me fait penser à celui que j'ai eu avec dead island, est-ce que tu as overclocké ta carte graphique ?