Oui, Ethernet c'est le RJ45. Petite précision, il existe deux types de câbles Ethernet, les droits et les croisés : il suffit de voir l'ordre des fils de couleurs à chaque bout pour savoir si c'est droit (même ordre) ou croisé (ordre inverse).
Je suppose que toi ou ton compagnon de jeu aura une carte Ethernet de moins de 5 ans et donc que les deux types de câbles marcheront, mais en théorie il faut un câble croisé pour relier deux machines (le câble droit sert à relier un PC à une prise murale).
Sinon, pas besoin de ce faire suer avec les réseaux windows. Tu vas dans la configuration de ta connexion, dans les propriétés pour l'ipv4, et là tu fixes l'ip à 192.168.0.1. Quand tu as fini, tu reviens à cette fenêtre et tu recoches "connection via DHCP". Ton compagnon devra faire pareil (sauf qu'il devrait changer le 1 en n'importe quoi d'autre entre 2 et 254).