主页 / coding / 问题 / 78286184
Accepted
AI ML
Asked: 2024-04-07 07:25:42 +0800 CST

cv2.matchTemplate函数匹配失败

  • 772

我想比较两个图像并找到第二个图像中模板的位置，所以第一个图像是这样的：

模板

这是我们的模板图像，应与下图进行比较：

原始图像

但是当我运行代码时，我得到以下结果：

在此输入图像描述

我怎样才能改善结果？

import cv2
import numpy as np
from imutils.object_detection import non_max_suppression
import matplotlib.pyplot as plt
template =cv2.imread("euro.jpg",cv2.IMREAD_COLOR)
template =cv2.resize(template,(99,99))
img =cv2.imread("euro_2024.jpg",cv2.IMREAD_COLOR)
img2 = img.copy()
# image =cv2.resize(image,(700,700))
h,w =template.shape[:2]

# All the 6 methods for comparison in a list
methods = ['cv2.TM_CCOEFF', 'cv2.TM_CCOEFF_NORMED', 'cv2.TM_CCORR',
            'cv2.TM_CCORR_NORMED', 'cv2.TM_SQDIFF', 'cv2.TM_SQDIFF_NORMED']

for meth in methods:
    img = img2.copy()
    method = eval(meth)

    # Apply template Matching
    res = cv2.matchTemplate(img,template,method)
    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

    # If the method is TM_SQDIFF or TM_SQDIFF_NORMED, take minimum
    if method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:
        top_left = min_loc
    else:
        top_left = max_loc
    bottom_right = (top_left[0] + w, top_left[1] + h)

    cv2.rectangle(img,top_left, bottom_right, 255, 2)

    plt.subplot(121),plt.imshow(res,cmap = 'gray')
    plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
    plt.subplot(122),plt.imshow(img,cmap = 'gray')
    plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
    plt.suptitle(meth)

    plt.show()
python

1 个回答

  1. Best Answer

    这意味着匹配函数仅关注球，而不关注任何背景噪音。
    但您还应该将模板转换为灰度，以使其更易于区分。您可以在“ OpenCV-Python 教程/OpenCV 中的图像处理/模板匹配”中看到这一点： template_gray = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)。
    然后手动确定球的边界框并裁剪模板：cropped_template = template_gray[y:y+h, x:x+w]。

    OpenCVmatchTemplate可以将掩码作为可选参数，这告诉它在匹配过程中仅考虑掩码的白色部分。

    因此，您可以为裁剪后的模板创建一个掩码，并将其传递给matchTemplate仅在匹配过程中考虑球：mask = np.zeros(cropped_template.shape, dtype=np.uint8)
    使用：``它将创建一个与（表示转换为灰度的模板图像）numpy.zeros具有相同尺寸的零数组template_gray）。

    在球所在的蒙版上画一个白色圆圈：
    cv2.circle(mask, (mask.shape[1]//2, mask.shape[0]//2), radius, 255, -1)

    radius应设置为与模板图像中感兴趣对象的大小相匹配的值，并且该circle函数将使用该值填充圆圈255，从而在蒙版中创建一个白色区域。

    你的代码是：

    import cv2
import numpy as np
import matplotlib.pyplot as plt

template = cv2.imread("path_to_cropped_template.jpg")
template_gray = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)

x, y, w, h = 100, 100, 50, 50  # Replace with actual values
cropped_template = template_gray[y:y+h, x:x+w]

# Create a mask for the cropped template
mask = np.zeros(cropped_template.shape, dtype=np.uint8)
cv2.circle(mask, (w//2, h//2), w//2, (255), -1)

search_img = cv2.imread("path_to_search_image.jpg")
search_img_gray = cv2.cvtColor(search_img, cv2.COLOR_BGR2GRAY)

res = cv2.matchTemplate(search_img_gray, cropped_template, cv2.TM_CCOEFF_NORMED, mask=mask)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

top_left = max_loc
bottom_right = (top_left[0] + w, top_left[1] + h)
cv2.rectangle(search_img, top_left, bottom_right, 255, 2)

plt.imshow(cv2.cvtColor(search_img, cv2.COLOR_BGR2RGB))
plt.show()

    同样，x, y, w, h在裁剪部分中应该是实际模板图像中球的坐标和大小。

    non_max_suppression如果模板在搜索图像中出现多次，您可以添加：

    import cv2
import numpy as np
import matplotlib.pyplot as plt
from imutils.object_detection import non_max_suppression

template = cv2.imread('path_to_cropped_template.jpg', cv2.IMREAD_COLOR) 
img = cv2.imread('path_to_search_image.jpg', cv2.IMREAD_COLOR)

template_gray = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)
img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

mask = np.zeros(template_gray.shape, dtype=np.uint8)
cv2.circle(mask, (mask.shape[1] // 2, mask.shape[0] // 2), mask.shape[1] // 2, 255, -1)

h, w = template_gray.shape[:2]

# Match template using the mask
res = cv2.matchTemplate(img_gray, template_gray, cv2.TM_CCOEFF_NORMED, mask=mask)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

# If the method is TM_SQDIFF or TM_SQDIFF_NORMED, take minimum
top_left = min_loc if res.min() == min_val else max_loc
bottom_right = (top_left[0] + w, top_left[1] + h)

cv2.rectangle(img, top_left, bottom_right, (255, 0, 0), 2)

# Apply non-maximum suppression to the bounding boxes
rects = [[*top_left, *bottom_right]]
pick = non_max_suppression(np.array(rects))

for (startX, startY, endX, endY) in pick:
    cv2.rectangle(img, (startX, startY), (endX, endY), (0, 255, 0), 2)

plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
plt.title('Detected Point')
plt.show()

    这不能通过模板匹配来解决。您对 3D 对象有不同的看法。

    我同意：模板匹配通常非常适合不改变透视或形状的 2D 图像模式。假设模板和正在搜索的图像部分具有类似的方向和缩放比例。
    当所讨论的对象是三维的（例如足球）并且图像从不同角度或在不同照明条件下捕获它时，模板的外观可能会由于透视扭曲、照明变化和遮挡而发生变化。

    您可以尝试将多尺度模板匹配和掩模结合起来，这比简单的模板匹配更稳健，但仍然不是匹配 3D 对象图像的包罗万象的解决方案，这些图像可能因旋转、透视而显得非常不同变化以及其他因素。

    import cv2
import numpy as np
import matplotlib.pyplot as plt

def multi_scale_template_matching_with_mask(search_img, template, template_mask, scale_steps=20, method=cv2.TM_CCOEFF_NORMED):
    h, w = template.shape[:2]
    # keep track of the most accurate matching
    found = None

    search_img_gray = cv2.cvtColor(search_img, cv2.COLOR_BGR2GRAY)
    template_gray = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)

    for scale in np.linspace(0.2, 1.0, scale_steps)[::-1]:
        # Resize the image according to the scale, and keep track of the ratio of the resizing
        resized = cv2.resize(search_img_gray, None, fx=scale, fy=scale, interpolation=cv2.INTER_AREA)
        r = search_img_gray.shape[1] / float(resized.shape[1])

        # If the resized image is smaller than the template, then break from the loop
        if resized.shape[0] < h or resized.shape[1] < w:
            break

        # Apply template Matching with the mask
        result = cv2.matchTemplate(resized, template_gray, method, mask=template_mask)

        _, max_val, _, max_loc = cv2.minMaxLoc(result)

        if method in [cv2.TM_SQDIFF, cv2.TM_SQDIFF_NORMED]:
            matchLoc = min_loc
        else:
            matchLoc = max_loc

        # If we have found a new maximum correlation value, then update the bookkeeping variable
        if found is None or max_val > found[0]:
            found = (max_val, matchLoc, r)

    # Unpack the bookkeeping variable and compute the (x, y) coordinates of the bounding box
    _, max_loc, r = found
    start_x, start_y = int(max_loc[0] * r), int(max_loc[1] * r)
    end_x, end_y = int((max_loc[0] + w) * r), int((max_loc[1] + h) * r)

    cv2.rectangle(search_img, (start_x, start_y), (end_x, end_y), (255, 0, 0), 2)

    plt.imshow(cv2.cvtColor(search_img, cv2.COLOR_BGR2RGB))
    plt.show()

search_img = cv2.imread('path_to_search_image.jpg')
template = cv2.imread('path_to_template.jpg')
template_mask = cv2.imread('path_to_template_mask.jpg', 0)  # Assuming the mask is a grayscale image

multi_scale_template_matching_with_mask(search_img, template, template_mask)

    他们multi_scale_template_matching_with_mask将尝试在不同尺度的搜索图像中找到模板，同时使用掩模将匹配集中在模板的特定特征（例如，球）上。

    • 2

相关问题