Читать основы LAN, свитчинг, маршрутизация
Если б я делал для себя и по уму на десяток машин в локальной, то - Linux + squid (прокси)
Старый комп для Linux, FreeBSD и прокси подойдет на 100%
А для винды можно глянуть usergate.
Когда-то таким раздавал на несколько виндовых машин. Это когда еще диалапный инет был на модемах 56к )))))