Tu branches ton routeur sur le câble téléphonique (rj-11).
Ensuite tu relies les pcs au routeur par ethernet (câble rj-45 droit) ou par wifi comme tu l´as fait.
Dans les options du routeur, active le wifi.
Essaye tout ça et reviens ensuite si ça ne va pas.