计算机视觉-OpenCV图像处理

1.Matplotlib数据可视化（绘制图像直方图、可视化矩阵） # Matplotlib 数据可视化（绘制图像直方图、可视化矩阵） # 本节主要讲解如何使用 Matplotlib 绘制图像直方图和可视化矩阵。 # 1. 绘制图像直方图 # 2. 可视化矩阵 # 1. 绘制图像直方图 import cv2 import matplotlib.pyplot as plt import numpy as np # 读取图像并转换为灰度图,读取后的 image 是一个二维数组，每个元素代表一个像素的灰度值。 image = cv2.imread('cat.jpg', cv2.IMREAD_GRAYSCALE) #将图像转换为灰度图（像素值范围 0 到 255） # 绘制图像和直方图 plt.figure(figsize=(12, 6)) plt.subplot(1, 2, 1) #创建一个1行2列的子图，当前激活第1个子图 plt.imshow(image, cmap='gray') #将图像以矩阵形式可视化。cmap='gray' 指定使用灰度颜色。 plt.title('Grayscale Image') plt.axis('off') #关闭坐标轴 plt.subplot(1, 2, 2) #创建一个1行2列的子图，当前激活第2个子图 # plt.hist 函数要求输入是一维数组，所以需要使用 ravel() 方法将二维或三维的图像数组转换为一维数组 plt.hist(image.ravel(), bins=256, range=[0, 256], color='r', alpha=0.5) #绘制直方图 plt.title('Histogram') #设置标题 plt.xlabel('Pixel Value') #设置x轴标签 plt.ylabel('Frequency') #设置y轴标签 plt.tight_layout() #自动调整子图参数，使之填充整个图像区域 plt.show() #显示图像和直方图

# 2. 可视化矩阵 import numpy as np import matplotlib.pyplot as plt # 创建一个包含3x3个元素的随机矩阵 arr = np.random.rand(3, 3) # 可视化矩阵 # imshow 是 matplotlib.pyplot 中的一个函数，用于将数组（矩阵）以图像的形式显示出来。 # 在这个例子中，它将 arr 矩阵中的每个元素映射为图像中的一个像素，像素的颜色由元素的值决定。 # cmap='viridis'：cmap 参数指定了颜色映射（colormap），即如何将数组中的数值映射为不同的颜色。 # 'viridis' 是 matplotlib 提供的一种颜色映射方案，它是一种连续的、感知均匀的颜色映射，从蓝色到黄色渐变，常用于可视化连续的数值数据。 plt.imshow(arr, cmap='viridis') #将矩阵以矩阵形式可视化。cmap='viridis' 指定使用 viridis 颜色。 # 在图像旁边添加一个颜色条。颜色条用于显示颜色与数值之间的对应关系，通过颜色条可以直观地了解图像中不同颜色所代表的数值大小。 plt.colorbar() #添加颜色条 plt.title('Matrix Visualization') #设置标题 plt.show() #显示图像

---

2.OpenCV图像处理 滤波操作（去除噪声）边缘检测（提取图像中的边缘）特征点检测（检测图像中的关键点）

练习任务：写一个简单的OpenCV脚本，提取两个图像的ORB特征并进行匹配。

滤波操作

滤波用于平滑图像、去除噪声。常见的滤波器有 均值滤波、高斯滤波和中值滤波。

# OpenCV 提供了丰富的图像处理功能，我们将重点介绍以下操作 # 滤波操作（去除噪声） # 边缘检测（提取图像中的边缘） # 特征点检测（检测图像中的关键点） # 滤波用于平滑图像、去除噪声。常见的滤波器有 均值滤波、高斯滤波和中值滤波。 # 均值滤波：将图像中的每个像素替换为其周围像素的平均值。 # 高斯滤波：将图像中的每个像素替换为其周围像素的加权平均值。 # 中值滤波：将图像中的每个像素替换为其周围像素的中值。 import cv2 import matplotlib.pyplot as plt import numpy as np # 读取图像 image = cv2.imread('cat.jpg', cv2.IMREAD_GRAYSCALE) # 均值滤波 # cv2.blur() 函数用于对图像进行均值滤波。第一个参数是输入图像，第二个参数是滤波核的大小。 # 滤波核的大小决定了滤波的效果，核的大小越大，滤波效果越明显。 # 例如，当核的大小为 (3, 3) 时，表示 3x3 的滤波核，对图像进行均值滤波。 blur_image = cv2.blur(image, (3, 3)) # 高斯滤波 # cv2.GaussianBlur() 函数用于对图像进行高斯滤波。第一个参数是输入图像，第二个参数是高斯核的大小，第三个参数是高斯核的标准差。 # 高斯核的大小和标准差决定了滤波的效果，高斯核的大小越大，滤波效果越明显。 # 例如，当高斯核的大小为 (3, 3)，标准差为 0 时，表示 3x3 的高斯核，对图像进行高斯滤波。 gaussian_image = cv2.GaussianBlur(image, (3, 3), 0) # 中值滤波 # cv2.medianBlur() 函数用于对图像进行中值滤波。第一个参数是输入图像，第二个参数是滤波核的大小。 # 中值滤波适用于去除椒盐噪声，即图像中的黑白点噪声。 # 例如，当核的大小为 3 时，表示 3x3 的滤波核，对图像进行中值滤波。 median_image = cv2.medianBlur(image, 3) # 显示图像和滤波结果 plt.figure(figsize=(12, 6)) plt.subplot(1, 3, 1), plt.imshow(blur_image, cmap='gray'), plt.title('Mean Blur') plt.subplot(1, 3, 2), plt.imshow(gaussian_image, cmap='gray'), plt.title('Gaussian Blur') plt.subplot(1, 3, 3), plt.imshow(median_image, cmap='gray'), plt.title('Median Blur') plt.show()

边缘检测

边缘检测用于提取图像中的轮廓，Canny 边缘检测是最常用的方法。

# 边缘检测用于检测图像中的边缘。常见的边缘检测算法有 Sobel算子、Scharr算子、Laplacian算子和Canny算子。 # Canny算子：通过多步操作检测图像中的边缘。 # 读取图像 image = cv2.imread('cat.jpg', cv2.IMREAD_GRAYSCALE) # Canny 边缘检测 # cv2.Canny() 函数用于对图像进行 Canny 边缘检测。第一个参数是输入图像，第二个参数是阈值1，第三个参数是阈值2。 # 阈值1 和阈值2 用于控制边缘检测的灵敏度，边缘检测结果取决于这两个阈值的选择。 edges = cv2.Canny(image, 100, 200) # 显示原图和边缘检测结果 plt.figure(figsize=(12, 6)) plt.subplot(1, 2, 1) # plt.subplot() 函数用于在当前图形窗口中创建一个子图布局。它接受三个整数参数，分别表示子图布局的行数、列数和当前子图的编号。 # (1, 2, 1) 表示将图形窗口划分为 1 行 2 列的子图布局，当前要操作的是第 1 个子图（从左到右、从上到下编号）。 plt.imshow(image, cmap='gray') # plt.imshow() 用于显示图像。image 是要显示的图像数组，通常是一个 numpy 数组。 # cmap='gray' 指定使用灰度颜色映射来显示图像，适用于单通道的灰度图像。 plt.title('Original Image') # 为当前子图设置标题，标题内容为 'Original Image'，表明该子图显示的是原始图像。 plt.axis('off') # 隐藏当前子图的坐标轴，使图像显示更加简洁。 plt.subplot(1, 2, 2), plt.imshow(edges, cmap='gray'), plt.title('Canny Edges') plt.axis('off') plt.show()

特征点检测

SIFT

medium /@deepanshut041/introduction-to-sift-scale-invariant-feature-transform-65d7f3a72d40

# SIFT特征点检测 # 读取图像 image = cv2.imread('cat.jpg', cv2.IMREAD_GRAYSCALE) # 初始化 SIFT 特征检测器 sift = cv2.SIFT_create() # 检测图像中的关键点和描述符 # sift.detectAndCompute() 是 SIFT 检测器对象的一个方法，用于同时检测图像中的关键点并计算这些关键点的描述子。 # 该方法接受两个参数： # 第一个参数是输入的图像（这里是之前读取的灰度图像 image）， # 第二个参数是一个掩码图像，用于指定在哪些区域进行关键点检测，None 表示对整个图像进行检测。 # 该方法返回两个值： # keypoints 是一个包含检测到的关键点信息的列表，每个关键点是一个 cv2.KeyPoint 对象，包含关键点的位置、尺度、方向等信息； # descriptors 是一个 numpy 数组，包含每个关键点对应的描述子,描述子是一个用于表示关键点特征的向量，通常用于后续的特征匹配。 keypoints, descriptors = sift.detectAndCompute(image, None) # 绘制关键点 # cv2.drawKeypoints() 是 OpenCV 中用于在图像上绘制关键点的函数。 # 它接受四个参数： # 第一个参数是输入的图像（这里是原始的灰度图像 image）， # 第二个参数是关键点列表（keypoints）， # 第三个参数是输出图像，如果为 None 则表示在输入图像上直接绘制关键点； # 第四个参数 color 用于指定绘制关键点的颜色，这里 (0, 255, 0) 表示绿色。 # 该函数返回一个绘制了关键点的图像 sift_image。 image_with_keypoints = cv2.drawKeypoints(image, keypoints, None, color=(0, 255, 0)) # 显示原图和绘制了关键点的图像 plt.figure(figsize=(12, 6)) plt.subplot(1, 2, 1), plt.imshow(image, cmap='gray'), plt.title('Original Image'), plt.axis('off') plt.subplot(1, 2, 2), plt.imshow(image_with_keypoints), plt.title('Image with Keypoints'), plt.axis('off') plt.show()

ORB

# ORB特征检测 import cv2 import matplotlib.pyplot as plt # 读取图像并转换为灰度图 image = cv2.imread('cat.jpg', cv2.IMREAD_GRAYSCALE) # 初始化 ORB 检测器 orb = cv2.ORB_create() # 检测关键点和计算描述子 keypoints, descriptors = orb.detectAndCompute(image, None) # 在图像上绘制关键点 orb_image = cv2.drawKeypoints(image, keypoints, None, color=(0, 255, 0)) # 显示结果 plt.figure(figsize=(12, 6)) plt.subplot(1, 2, 1), plt.imshow(image, cmap='gray'), plt.title('Original Image'), plt.axis('off') plt.subplot(1, 2, 2), plt.imshow(orb_image), plt.title('Image with ORB Keypoints'), plt.axis('off') plt.show()

Harris 角点检测 # Harris 角点检测 # Harris 角点检测是一种用于检测图像中角点的方法，角点是图像中两条边缘交汇的点。 import cv2 import numpy as np import matplotlib.pyplot as plt # 读取图像 image = cv2.imread('cat.jpg', cv2.IMREAD_GRAYSCALE) # np.float32()：将图像数据类型转换为 32 位浮点型。因为 cv2.cornerHarris() 函数要求输入的图像数据类型为浮点型，所以需要进行类型转换。 gray = np.float32(image) # OpenCV 提供了 cv2.cornerHarris() 函数用于进行 Harris 角点检测。 # gray：输入的灰度图像（已转换为浮点型）。 # 2：角点检测中使用的邻域大小，即每个像素周围考虑的邻域范围。这里表示使用 2x2 的邻域。 # 3：Sobel 算子的孔径大小，用于计算图像的梯度。 # 0.04：Harris 角点检测的自由参数，用于控制角点响应函数的计算，通常取值在 0.04 到 0.06 之间。 # 该函数返回一个与输入图像大小相同的数组 dst，数组中的每个元素表示对应像素的角点响应值。 dst = cv2.cornerHarris(gray, 2, 3, 0.04) # 对 dst 数组进行膨胀操作。膨胀操作可以扩大角点响应值的区域，使角点更加明显，方便后续的角点筛选。 dst = cv2.dilate(dst, None) # dst > 0.01 * dst.max()：这是一个布尔数组，用于筛选出角点响应值大于 0.01 * dst.max() 的像素位置。 # dst.max() 表示 dst 数组中的最大值，0.01 * dst.max() 是一个阈值，只有角点响应值大于该阈值的像素才被认为是角点。 image[dst > 0.01 * dst.max()] = 255 # 显示结果原图像和 Harris 角点检测结果 plt.figure(figsize=(12, 6)) plt.subplot(1, 2, 1), plt.imshow(image, cmap='gray'), plt.title('Original Image'), plt.axis('off') plt.subplot(1, 2, 2), plt.imshow(dst, cmap='gray'), plt.title('Harris Corners'), plt.axis('off') plt.show()

---

写一个简单的OpenCV脚本，提取两个图像的ORB特征并进行匹配

# 写一个简单的OpenCV脚本，提取两个图像的ORB特征并进行匹配。 import cv2 import numpy as np import matplotlib.pyplot as plt # 读取图像 img1 = cv2.imread('ORB1.jpg',cv2.IMREAD_GRAYSCALE) img2 = cv2.imread('ORB2.jpg',cv2.IMREAD_GRAYSCALE) # 创建ORB特征检测器,nfeatures=500 设定ORB检测的最大特征点数为500，数值越大，提取的特征点越多。 orb = cv2.ORB_create(nfeatures=500) # 检测特征点并计算描述符 # detectAndCompute() 方法同时检测特征点 (keypoints) 和计算它们的描述符 (descriptors)。 # kp1, des1 是 img1 的特征点和描述符，kp2, des2 是 img2 的特征点和描述符。 # keypoints 包含特征点的位置、大小、方向等信息，descriptors 是描述这些特征点的向量。 kp1, des1 = orb.detectAndCompute(img1, None) kp2, des2 = orb.detectAndCompute(img2, None) # 创建BF匹配器 # cv2.BFMatcher 创建一个暴力匹配器 (BFMatcher)。 # cv2.NORM_HAMMING 表示使用 汉明距离（适用于二进制特征描述符，如 ORB、BRIEF）。 # crossCheck=True 使匹配更加严格：只有当 A 的最佳匹配是 B，同时 B 的最佳匹配也是 A 时，它们才会被视为匹配。 bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True) # 匹配描述符，bf.match(des1, des2) 在两幅图像的特征描述符之间进行匹配，返回 matches（匹配点对列表）。 matches = bf.match(des1, des2) # 按距离排序 # sorted() 函数对所有匹配点对按照它们之间的距离进行排序。 # key=lambda x: x.distance 表示按照匹配点对的距离进行排序。 matches = sorted(matches, key=lambda x: x.distance) # 绘制匹配结果 # drawMatches() 方法绘制匹配结果。 # matches[:60] 表示只绘制前60个匹配点对。 # matchColor=(0, 255, 0) 表示匹配点对的颜色为绿色。 # singlePointColor=(0, 0, 255) 表示特征点的颜色为红色。 img3 = cv2.drawMatches(img1, kp1, img2, kp2, matches[:60], None, matchColor=(0, 255, 0),singlePointColor=(0, 0, 255)) # 显示结果 plt.figure(figsize=(16, 8)) plt.axis('off') plt.imshow(img3) plt.show()