Esta questão é bastante conceitual e eu só preciso de alguns esclarecimentos.
Digamos que no seu servidor linux você tenha algo como ufw instalado ou firewall do windows no servidor windows. E você tem camadas de dispositivos de rede, como roteadores, que terão seus próprios firewalls. Por que você ainda precisa de um firewall de hardware como parte de sua infraestrutura?
Não faz muito tempo, designs típicos forçavam todo o tráfego através de um grande firewall como controle de segurança. Isso é uma vantagem: estando no gateway da Internet, a equipe de rede pode impor um controle de segurança mesmo que não gerencie todos os dispositivos. Por necessidade, esse firewall precisava ser grande com hardware personalizado caro.
Agora, é possível categorizar o tráfego com base na ameaça e na importância e distribuir os filtros de pacotes. Talvez envie o tráfego do YouTube diretamente para a Internet, ele já está criptografado e possivelmente não é crítico. E no data center ou na nuvem, um firewall distribuído em cada host de computação aumenta a capacidade do filtro, possibilitando uma segmentação aprimorada. Ambos facilitam a demanda por enormes firewalls de hardware no perímetro.
Além disso, o software de código aberto em hardware comum transformou alguns dos grandes firewalls em produtos de software. Ethernet de 25 Gb é barato, por que não executar o firewall em um servidor como outros serviços? Os fornecedores ainda venderão dispositivos de hardware, especialmente em tamanho grande, mas o argumento de que seu hardware é mágico pode não ser tão convincente.
Certamente você gostaria de uma abordagem de defesa em profundidade para a segurança. Muitos componentes a serem considerados: agentes de segurança de ponto final, autenticação forte de usuário, segmentação de rede, dados criptografados em trânsito, firewalls de nível de host, firewalls de perímetro, atualização de software em todas as coisas. Mas apenas o fato de um firewall ter um molho especial ASIC não o define necessariamente.
No que me diz respeito, é uma questão de cinto e suspensórios. Um firewall de hardware ajuda a manter os bandidos fora de sua rede. UFW e similares ajudam você a manter os bandidos fora do seu servidor se eles entrarem na sua rede. Geralmente roteadores são roteadores em primeiro lugar e firewalls em segundo lugar. Eles são melhores do que nada, mas não substituem um firewall adequado.