Tu dois avoir une carte réseau dans chaque ordinateur.
Relier les cartes avec un cable correspondant.
Paramètrer une connection réseau.
Ou bien encore comme moi, passer par un modem-routeur, voir un routeur tout simplement.
Enfin je ne suis pas un pro dans ce domaine, et je pense qu´il y a ici des gens plus qualifiés qui pourront te répondre de manière plus approfondie.