je ne sais pas trop si ca marchera avec deux modems..
en revanche, tu peux te passer de routeur, un des pc servira de passerelle.
tu va brancher le modem sur l´un des pc, puis avec l´autre, tu va te connecter au travers du reseau local ( ethernet), je te conseille alors de faire passer la passerelle sous linux, beaucoup plus puissant, stable et fiable ( il peut alors faire office de serveur, de firewall, de routeur, Dhcp, etc...)
passez a linux, c´est un peu compliqué, mais une fois que l´on a pris le pli, c´est que du bonheur ( a par pour les jeux, et encore).