Estou configurando um proxy/firewall e quero que seja o servidor DHCP para clientes Windows. O problema é que se eu definir o DHCP como automático nos clientes Windows, às vezes eles selecionarão o modem da rede como servidor DHCP e ingressarão na sub-rede errada. Obviamente, se eu definir a configuração do endereço IP manualmente, não será um problema - ele sempre escolherá o proxy DHCP e ingressará na sub-rede correta.
Como posso garantir que os clientes Windows sempre usem o servidor DHCP do proxy em vez do modem?
Eu sei que isso funciona apenas em um domínio do Active Directory com seu próprio servidor DHCP, sem que o modem "sequestre" os computadores do domínio.
Simplesmente não consigo descobrir como fazer isso fora de um domínio do Active Directory
Você não deve ter dois servidores DHCP em uma rede. Não há como os clientes saberem qual servidor DHCP é legítimo ou não.
Desative o servidor DHCP no seu modem.
Isso não acontece. AD não está relacionado ao DHCP. Os clientes Windows aceitarão com prazer IPs que não tenham rota para chegar aos DCs e aceitarão com prazer qualquer servidor DHCP não afiliado ao domínio.