Je vois deux cas :
1) il y a deux machines :
Dans ce cas, tu branches un câble ethernet directement entre les deux machines, puis tu fixes des IP de façon cohérente de chaque coté. Et paf, ça fait des chocapics… euh, un réseau local.
2) il y a trois machine ou plus :
Tu achètes un switch et autant de câbles que de machines, tu relies chaque machine au switch, et tu fixes des IP de façon cohérente sur chaque machine. (finalement, à par le switch au milieu, c'est comme avant).
À noter qu'un Foobox (livebox, freebox, etc.) peut remplacer le switch et que dans ce cas là c'est la box qui donne des IPs à tout le monde (ce qui est nettement plus simple). Mais vu le « linux server ne ferais que la gestion des utilisateurs » j'ai l'impression que tu veux mettre un linux entre les machines sous Windows et le monde extérieur (et donc ça ne marche pas ça).