Confusão de retrocesso

Em relação ao Javascript, tenho tentado entender o backtracking ultimamente e está bem confuso. Especificamente, tenho tentado entender o problema da permutação, em que, quando dado um array, queremos todas as permutações possíveis desse array:

function permute(nums) {
    let result = [];
    function backtrack(temp = []) {
        if (temp.length === nums.length) {
            result.push([...temp]);  
            return;
    }
        for (let i = 0; i < nums.length; i++) {
            if (temp.includes(nums[i])) continue;  
            temp.push(nums[i]);       
            backtrack(temp);          
            temp.pop();               
    }
  }
  backtrack();
  return result;
}

Vamos considerar nums = [1,2] para simplificar. \

Pelo que entendi, começamos em temp=[], em i=0 temp -> [1], e o backtrack deve procurar os outros valores possíveis (apenas 2). Ele ignora a exclusão do suposto valor em temp.pop() e retorna ao loop onde i=1 agora e temp [1] -> [1,2] e, agora que satisfaz a condição de comprimento, uma cópia deste array temporário é anexada ao array resultante. Então, minha pergunta é: o que acontece após essa adição?

Supostamente, o código fornecido acima retorna [[1,2],[2,1]], o que está correto, mas não entendo o porquê. Após a adição, aparentemente extraímos o valor final de temp, agora em [1], e reiniciamos o loop em i, já que o terminamos para obter [1,2]. Passamos por i=0 novamente, mas temp já tem o valor 1, então continuamos. Então, ele recebe 2 novamente, e o backtrack envia este resultado para verificar a condição inicial de comprimento, não é? Aparentemente, ele deve extrair duas vezes e iniciar o loop em i=1 para que o backtrack tenha backtrack([2]) e, em seguida, procurar o 1 ausente.

Não entendo onde está minha falha, mas sei que há algum erro de interpretação em algum lugar, só não entendo onde.