Início / coding / Perguntas / 79567058
Accepted
hmtl
Asked: 2025-04-10 23:29:51 +0800 CST

Erro de script do Powershell ao usar processamento paralelo

  • 772

Estou usando o PowerShell com -Parallel para acelerar um script que verifica formatos de arquivo usando o ImageMagick. O script funciona sem processamento paralelo, mas fica muito lento com um grande número de arquivos. Quando adiciono -Parallel, continuo recebendo um erro. Aqui está o código — alguém pode me ajudar a descobrir o que está errado?

Erro :

O conjunto de parâmetros não pode ser resolvido usando os parâmetros nomeados especificados. Um ou mais parâmetros estão ausentes, não são permitidos juntos ou um número insuficiente de parâmetros foi fornecido para o conjunto de parâmetros selecionado.

Código:

$files | ForEach-Object -Parallel {
    param ($file, $magickPath, $errorLogFile)

    try {
        # Run ImageMagick to identify the format
        $output = & $magickPath identify -ping -quiet -format "%m" $file.FullName

        # Check if the image is NOT JPEG or PNG
        if ($output -ne "JPEG" -and $output -ne "PNG") {
            $fileName = $file.Name
            "$fileName - $output"
        }
    }
    catch {
        # Log errors
        $errorMsg = "Error processing file: $($file.FullName). Error: $($_.Exception.Message)"
        $errorMsg | Out-File -FilePath $errorLogFile -Append
    }
} -ThrottleLimit 8 -ArgumentList $magickPath, $errorLogFile | ForEach-Object {
    if ($_ -ne $null) {
        $nonJpegPngFiles += $_
    }
}

Atualizar:

# Folder where the images are located
$folderPath = "C:\Users\johndoe\Documents\saved images"

# File where unsupported image names will be saved
$outputFile = "C:\Users\johndoe\Documents\Unsupported list\unsupported_images_list.txt"

# Path to ImageMagick executable
$magickPath = "C:\Program Files\ImageMagick-7.1.1-016\magick.exe"

# Get all files in the folder
$files = Get-ChildItem -Path $folderPath -File

# Process files in parallel
$result = $files | ForEach-Object -Parallel {
    # Run ImageMagick to identify the format, redirecting stderr to stdout
    $output = & $using:magickPath identify -ping -quiet -format '%m' $_.FullName 2>&1

    # Return the file path and output for filtering later
    [pscustomobject]@{
        Path   = $_.FullName
        Output = $output
    }
} -ThrottleLimit 8

# Filter files that are not JPEG or PNG
$unsupportedFiles = $result | Where-Object { $_.Output -notin 'JPEG', 'PNG' }

# If unsupported files exist, write them to the output file
if ($unsupportedFiles.Count -gt 0) {
    $unsupportedFiles | Select-Object -ExpandProperty Path | Out-File -FilePath $outputFile
    Write-Host "List of unsupported files has been saved to $outputFile."
} else {
    Write-Host "No unsupported files found."
}
multithreading

1 respostas

  1. Best Answer

    Há alguns problemas com seu código. O erro ocorre porque não há -ArgumentListwhen using ForEach-Object -Parallel. Além disso, usar um param(...)bloco não terá efeito algum. Se você quiser usar uma variável fora do escopo do bloco de script paralelo, pode usar o $using:modificador de escopo . Além disso, usar uma try/ catchnão lidará com erros do seu binário e, certamente, anexar a um arquivo em paralelo se houver um erro não é uma operação thread-safe. Você não deve fazer isso.

    Uma maneira simples de manipular seu script é redirecionar a saída de erro do seu binário e os objetos de saída do bloco paralelo. Depois que todos os arquivos forem processados, você pode simplesmente filtrar onde a saída do binário não estava JPEGou PNG:

    $magickPath = 'path\to\ImageMagick'

$result = $files | ForEach-Object -Parallel {
    # Run ImageMagick to identify the format, redirecting stderr to stdout
    $output = & $using:magickPath identify -ping -quiet -format '%m' $_.FullName 2>&1

    [pscustomobject]@{
        Path   = $_.FullName
        Output = $output
    }
}

$result | Where-Object { $_.Output -notin 'JPEG', 'PNG' }

    Com base na atualização da sua pergunta usando o código sugerido nesta resposta, seu código agora está perfeitamente correto e seguro para threads. A única sugestão que posso fazer é que, como estamos gerando objetos do loop paralelo e como cada objeto já contém o caminho de cada arquivo e a saída do seu binário, você pode exportá-los como um CSV em vez de um txt simples:

    # Using Csv as output can be more useful to know:
#   1. The path of failed path
#   2. The output from the binary
$outputFile = 'C:\Users\johndoe\Documents\Unsupported list\unsupported_images_list.csv'

# .... Same code as before above

# Filter files that are not JPEG or PNG
$unsupportedFiles = $result | Where-Object { $_.Output -notin 'JPEG', 'PNG' }

# If unsupported files exist, write them to the output file
if ($unsupportedFiles) {
    $unsupportedFiles | Export-Csv $outputFile -NoTypeInformation
    Write-Host "List of unsupported files has been saved to $outputFile."
}
else {
    Write-Host 'No unsupported files found.'
}

    A outra sugestão é remover .Count -gt 0a ifcondição, isso é específico para o Windows PowerShell 5.1, onde se você obtiver um único objeto na sua saída, essa condição poderá ser avaliada como falseporque .Countretornaria nullem vez de 1, fornecendo informações imprecisas:

    # In PowerShell 5.1
([pscustomobject]@{ foo = 'bar' }).Count -gt 0 # false

# In PowerShell 7+ you get the expected result
([pscustomobject]@{ foo = 'bar' }).Count -gt 0 # true
    • 3

relate perguntas