C'est la même chose qu'avec internet.
Si ton modem/box dispose d'un mode routeur, active-le. Donne le même nom de groupe de travail pour chaque PC (clic droit sur Poste de travail >> Propriétés).
Normalement, les adresses IP sont attribuées automatiquement. 