主页 / coding / 问题 / 79567058
Accepted
hmtl
Asked: 2025-04-10 23:29:51 +0800 CST

使用并行处理时 Powershell 脚本出现错误

  • 772

我正在使用 PowerShell 和 -Parallel 选项来加速一个使用 ImageMagick 检查文件格式的脚本。该脚本无需并行处理也能运行，但处理大量文件时速度太慢。当我添加 -Parallel 选项时，总是出现错误。代码如下——有人能帮我找出问题所在吗？

错误：

无法使用指定的命名参数解析参数集。缺少一个或多个参数、不允许同时使用参数，或者为所选参数集提供的参数数量不足。

代码：

$files | ForEach-Object -Parallel {
    param ($file, $magickPath, $errorLogFile)

    try {
        # Run ImageMagick to identify the format
        $output = & $magickPath identify -ping -quiet -format "%m" $file.FullName

        # Check if the image is NOT JPEG or PNG
        if ($output -ne "JPEG" -and $output -ne "PNG") {
            $fileName = $file.Name
            "$fileName - $output"
        }
    }
    catch {
        # Log errors
        $errorMsg = "Error processing file: $($file.FullName). Error: $($_.Exception.Message)"
        $errorMsg | Out-File -FilePath $errorLogFile -Append
    }
} -ThrottleLimit 8 -ArgumentList $magickPath, $errorLogFile | ForEach-Object {
    if ($_ -ne $null) {
        $nonJpegPngFiles += $_
    }
}

更新：

# Folder where the images are located
$folderPath = "C:\Users\johndoe\Documents\saved images"

# File where unsupported image names will be saved
$outputFile = "C:\Users\johndoe\Documents\Unsupported list\unsupported_images_list.txt"

# Path to ImageMagick executable
$magickPath = "C:\Program Files\ImageMagick-7.1.1-016\magick.exe"

# Get all files in the folder
$files = Get-ChildItem -Path $folderPath -File

# Process files in parallel
$result = $files | ForEach-Object -Parallel {
    # Run ImageMagick to identify the format, redirecting stderr to stdout
    $output = & $using:magickPath identify -ping -quiet -format '%m' $_.FullName 2>&1

    # Return the file path and output for filtering later
    [pscustomobject]@{
        Path   = $_.FullName
        Output = $output
    }
} -ThrottleLimit 8

# Filter files that are not JPEG or PNG
$unsupportedFiles = $result | Where-Object { $_.Output -notin 'JPEG', 'PNG' }

# If unsupported files exist, write them to the output file
if ($unsupportedFiles.Count -gt 0) {
    $unsupportedFiles | Select-Object -ExpandProperty Path | Out-File -FilePath $outputFile
    Write-Host "List of unsupported files has been saved to $outputFile."
} else {
    Write-Host "No unsupported files found."
}
multithreading

1 个回答

  1. Best Answer

    -ArgumentList您的代码存在一些问题，错误发生的原因是使用时没有ForEach-Object -Parallel，此外使用param(...)块不会有任何效果，如果要使用并行脚本块范围之外的变量，可以使用$using:范围修饰符。除此之外，使用try/catch不会处理二进制文件中的错误，而且如果出现错误，并行附加到文件肯定不是线程安全的操作，您不应该这样做。

    处理脚本的一个简单方法是重定向二进制文件的错误输出和并行块的输出对象，一旦处理完所有文件，就可以简单地过滤二进制文件的输出不是JPEG或的位置PNG：

    $magickPath = 'path\to\ImageMagick'

$result = $files | ForEach-Object -Parallel {
    # Run ImageMagick to identify the format, redirecting stderr to stdout
    $output = & $using:magickPath identify -ping -quiet -format '%m' $_.FullName 2>&1

    [pscustomobject]@{
        Path   = $_.FullName
        Output = $output
    }
}

$result | Where-Object { $_.Output -notin 'JPEG', 'PNG' }

    根据使用此答案中建议的代码对您的问题进行的更新，您的代码现在非常好并且线程安全，我唯一能提出的建议是，由于我们从并行循环中输出对象，并且每个对象已经包含每个文件的路径和二进制文件的输出，您可以将它们导出为 CSV 而不是纯文本：

    # Using Csv as output can be more useful to know:
#   1. The path of failed path
#   2. The output from the binary
$outputFile = 'C:\Users\johndoe\Documents\Unsupported list\unsupported_images_list.csv'

# .... Same code as before above

# Filter files that are not JPEG or PNG
$unsupportedFiles = $result | Where-Object { $_.Output -notin 'JPEG', 'PNG' }

# If unsupported files exist, write them to the output file
if ($unsupportedFiles) {
    $unsupportedFiles | Export-Csv $outputFile -NoTypeInformation
    Write-Host "List of unsupported files has been saved to $outputFile."
}
else {
    Write-Host 'No unsupported files found.'
}

    另一个建议是删除.Count -gt 0条件if，这专门针对 Windows PowerShell 5.1，如果在输出中得到单个对象，则该条件可能会评估为false因为.Count会返回null而不是1，从而提供不准确的信息：

    # In PowerShell 5.1
([pscustomobject]@{ foo = 'bar' }).Count -gt 0 # false

# In PowerShell 7+ you get the expected result
([pscustomobject]@{ foo = 'bar' }).Count -gt 0 # true
    • 3

相关问题