Zdalny dostęp do lokalnych urządzeń w sieci

Witam.
Mam kilka urządzeń w sieci lokalnej. To są koparki ASIC, ale to nie jest tutaj najważniejsze.
Urządzenia te startując przydzielają sobie wolne numery w sieci w tej samej klasie co router 192.168.1.0 - 192.168.1.255
Wyszukuje je Ip scanerem i klikając na poszczególne adresy otwiera mi się panel konfiguracji urządzenia w kolejnych oknach
przeglądarki.
Problemu nie ma jeśli tylko ja korzystam, bo zainstaluję Team Viewer czy coś podobnego i po kłopocie. Problem mam w momencie jeśli
jest kilku zdalnych urzytkowników i każdy z nich powinien mieć dostęp tylko do swoich urządzeń. Np: w danej sieci lokalnej znajduje sie
20 maszyn należących do 4 użytkowników każdy po 5 sztuk. Jak przydzielić każdemu zdalny akcess tylko do własnych urzączeń??

Nie rozumiem problemu - dać użytkownikowi adresy IP urządzeń na które ma dostęp i hasła do nich?