É meu entendimento que, quando você reconstruir um índice, o SQL classificará as páginas em ordem no final do arquivo de dados, aumentando o arquivo de dados até que todas as páginas sejam ordenadas e, em seguida, descarte o índice antigo, deixando extensões não contíguas vazias no arquivo de dados.
O que acontece então quando você recria um segundo índice? O SQL executa a mesma ação, aumentando o arquivo de dados ou move o segundo índice para as antigas extensões fragmentadas deixadas pelo primeiro índice? Se ele usar as extensões antigas, a reconstrução criaria um novo índice fisicamente fragmentado?
Primeiro, o SQL Server não aloca necessariamente extensões (e páginas de extensão mistas) para o índice reconstruído no final do(s) arquivo(s) de dados. Caso contrário, os arquivos de dados cresceriam desnecessariamente. O SQL Server alocará espaço de extensões livres existentes quando possível, independentemente de onde elas residam no arquivo de dados. Consulte o Guia de Arquitetura de Páginas e Extensões para obter mais informações sobre o gerenciamento de extensões.
Todo o espaço de índice original torna-se não alocado após uma reconstrução de índice. Mesmo que o índice antigo tenha sido fragmentado (ordem lógica/física diferente), o espaço livre resultante pode ser contíguo posteriormente, dependendo de onde as extensões residem no(s) arquivo(s). As alocações de espaço subsequentes podem reutilizar esse espaço.
Para responder à pergunta feita no título da sua pergunta, um índice recém (re)criado pode ser fragmentado devido a um plano paralelo. Pode-se especificar MAXDOP 1 para evitar isso. No caso de um índice existente, REORGANIZE pode ser usado em seu lugar.