数字图像处理复习整理

按老师发的复习提纲进行整理

图像处理/计算机视觉顶级会议期刊

深度学习顶级会议：ICLR, NeurIPS, ICML, AAAI, ACM MM

CV国际会议： A类 ICCV, CVPR, ECCV

重要的学术会议：PRCV(Pattern Recognition and Computer Vision)，由CCCV和CCPR合并而成，每年举办一次

数字图像处理基础

什么是数字图像

数字图像是指以数字格式存放的图像

对于二维灰度图像，通常用一个二维数组来描述f(x,y)，x和y表示图像中点的位置，f 则代表图像在该点的值，一般是指亮度或颜色

数字图像的表示方式

数字化：采样和量化

为了在计算机上能够进行存储，须同时将空间坐标和颜色值进行离散化，这一过程称为数字化

空间坐标数字化的过程称为采样

颜色值数字化的过程称为量化

颜色模型

RGB

Lab：亮度L，a 和b是两个颜色通道

HSI：色调H，饱和度S，强度I


RGB颜色模型转换为HSI模型

先归一化，再算h, s, i，最后算H, S, I

例子：

注意，这个单位是弧度制，不是角度制


CMY颜色模型：三原色是RGB的补色，CMY是从白光中减去一定成分得到

一个像素的RGB颜色为（120，130，60），将其转换为CMY模型，其值应为（135，125，195 ）

CMYK模型：K表示纯黑色（由于在印刷时CMY模型不可能产生真正的黑色，因此在印刷业中实际上使用的是CMYK颜色模型，K为第四种颜色，表示黑色。用以弥补三个颜色混合不够黑的问题）

数字图像类型

矢量图：用数学(准确地说是几何学)公式描述一幅图像（计算机图形学）

位图（栅格图像）：黑白二色线画稿，灰度图，RGB真彩色图像

多光谱图像：每一个像素点的值是一个多维向量，是该点在多个波段的反射值

地形图：灰度值作为函数值，用二位曲面表示

图像增强

空域增强：点处理和区处理

对应的两种方法

点处理

灰度变换和直方图修正，待处理像素的处理结果仅与自身相关，与其他像素无关，可以增强图像的视觉效果


灰度变换和直方图修正的区别：

灰度变换是一种点处理，原图像的像素灰度经过某个变换函数变换成新的图像灰度；

灰度直方图是灰度级的函数，它反映了图像中每一灰度级出现的次数或频率

模板卷积

区处理方式，也称图像滤波，是数字图像处理最重要的方法之一

模板，是卷积的基本单元

基本处理过程：滑动窗口，逐点处理，边界是否填充

模板卷积可以实现：图像平滑，图像锐化，梯度幅值，边缘检测、特征提取、求导、超分辨增强、图像分类、目标检测和图像描述

中值滤波不是普通模板卷积

与形态学图像处理的关系，结构元素类似于模板，也是逐像素处理，但是处理过程采用形态学方式

现代图像滤波：双边滤波器，可以认为是一种非连续性（边界）保护滤波方法


模板操作

模板操作有：卷积和相关

这两种操作的区别：相关的结果就是卷积模板转180°

注意边界

有时要边界填充（padding）

模板卷积分解

灰度变换

灰度变换是一种点处理，原图像的像素灰度经过某个变换函数变换成新的图像灰度

灰度线性变换

分段线性变换

非线性变换

对数变换

幂律变换

亮度变化可以比较 y = x 这根线

直方图修正

更改分布

直方图均衡化举例：

这个是概率论里涉及的东西，对前面所有项求和

这里的9*F，9为扩充的上界，如果上界变为其他数，这里的计算也要变

比如这个图，上界就拓宽到了255

图像平滑

图像平滑的主要目的是消除噪声或模糊图像，去除小的细节或弥合目标间的缝隙

从信号频谱角度来看，信号缓慢变化的部分在频率域表现为低频，而迅速变化的部分表现为高频（边界）

图像噪声

分类：

邻域平均法

邻域平均常用的两个模板

举例：

模板用

\((1+2+1+1+2+2+5+7+6)\div9=3\)

模板中间对应的像素更新结果

加权模板

中值滤波

与普通模板卷积过程不一样，因为从小到大排序

双边滤波

自适应图像内容生成模板，可以认为是一种非连续性（边界）保护滤波方法

图像锐化

图像锐化的目的是使模糊的图像变清晰，增强图像的边缘等细节

从信号频谱角度来看，信号缓慢变化的部分在频率域表现为低频，而迅速变化的部分表现为高频（边界）

钝化掩膜和高提升滤波

先模糊图像，再用原图像减去模糊图像，得到的信息再加回到原图像（增强边界）

图示过程：

模糊，平滑了边界

原图一减，就得到了钝化掩膜

微分法

“微分”求出信号的变化率，可反映图像灰度的变化，微分运算常由差分运算来实现

梯度算子

微分法就是用这些梯度算子当做卷积模板

注意：与平滑模板不同，微分模板加起来为0（即会出现负数）

而平滑模板加起来是1

拉普拉斯图像锐化法

高频增强滤波

平滑模板与微分模板对比

伪彩色处理

灰度变彩色

按灰度区分颜色区块

图像的几何变换

几何变换的定义，常见几何变换方式，变换矩阵

图像的几何变换：将原始图像按照需要产生大小、形状和位置的变化

常见几何变换：图像比例缩放，图像平移，图像镜像，图像旋转，图像错切，透视变换

变换矩阵：见“变换矩阵总结部分”


几何变换与图像滤波区别和联系

区别：图像增强（滤波）主要改变像素的值，不改变像素位置，几何变换主要改变像素的位置，不改变像素值

联系：几何变换和图像滤波都是图像处理的基本操作，它们都可以改变图像的视觉效果


几何变换用途

对严重几何变形的图像，进行几何矫正后，才能对内容进行解释

（还能P图玩，网上绝大部分的meme梗图都是这样做出来的）


几何变换定义

图像的几何变换：将原始图像按照需要产生大小、形状和位置的变化

几何运算变换通过改变图像中像素的空间位置而改变图像形状的过程通常称为形变（warping）

常见几何变换方式

图像比例缩放

图像平移

图像镜像

图像旋转

透视变换

几何变换基础

变换矩阵

图像比例缩放

用齐次坐标，H=1时，规范化齐次坐标

给齐次坐标左乘一个变换矩阵，就能实现几何变换


图像缩放，要考虑插值

双线性图像插值

很好理解，进行两次线性插值，利用得到的两个新点进行第三次插值

注意：距离远的影响就应该小，所以离q1点远的V1点乘的是d2，而不是乘d1

会模糊边界

图像平移

此处的变换矩阵，因为不涉及缩放，所以缩放对应的系数就是1

图像镜像

缩放系数为-1的同时，还加了一个\(f_{Width}\)，就能实现新的x就是图像宽度减去对应x坐标，实现水平镜像

图像旋转

公式推导：

图像旋转的变换矩阵很容易，因为图形学的课程设计已经用过旋转矩阵了

图像错切（shear）

图像复合变换

按顺序左乘变换矩阵

几何变换变换矩阵总结

比例缩放：

图像平移：

水平镜像：

旋转矩阵：

错切矩阵：

频域处理

最重要的用处：图像压缩

把麻烦的问题换一个空间解决


频域处理的背景和必要性，和空域处理的区别是什么？

空域图像增强---在原始图像空间中，对图像进行直接处理，改善视觉效果

频域图像处理---首先将图像变换到频域空间，在频空间处理后，再进行逆变换，得到频域变换结果


频域处理主要方法：傅里叶变换，一维傅里叶变换，频谱和相位


二维傅里叶变换是两次连续的一维傅里叶变换，理解一维傅里叶变换是关键


傅里叶变换的性质，仅从数学上证明即可，结果可以应用到频域图像处理中

傅里叶变换性质：线性性质，比例性质，可分离性，平移性质（时移频移），周期性，共轭对称性，旋转不变性，平均值，卷积定理，互相关，自相关


离散余弦变换与离散傅里叶变换的区别

傅里叶变换的图像，能量集中在四个角；离散余弦变换，能量集中在左上角

傅里叶变换用的变换核为\(e^{j\theta}\)相关式子，是复数；离散余弦变换的变换核是余弦函数，是实数


理解频谱图

数字图像频移后的频谱中，图像的能量将集中到频谱中心（低频成分），图像上的边缘、线条细节信息（高频成分）将分散在图像频谱的边缘

频谱中低频成分代表了图像的概貌，高频成分代表了图像中的细节


频域图像处理的一般方式

在频域中进行图像处理的步骤如下：

（1）计算图像的DFT，得到F(u,v)

（2）用滤波函数H(u,v)乘以F(u,v)，得到处理结果G(u,v)

（3）计算滤波后的IDFT

（4）取IDFT变换结果中的实部，得到处理后的图像

频域与频域变换

傅里叶变换可认为是描述函数的第二种语言

能讲两种语言的人通常会发现，在表达某些观点时，一种语言比另一种语言优越

图像处理的分析在解决某一问题时在空域和频域来回切换

欧拉公式：\(e^{j\theta}=\cos\theta+j\sin\theta\)

频域变换的理论基础——任意波形都可用单纯的正弦波的加权和表示

如图：

可以把一个波分解成多个波相加，然后把这些波对应的幅频图（幅值频率图）和相频图（相位频率图）画出来

傅里叶变换

离散傅里叶变换

举例

图里少打个j

只用记住，给的向量是几维的，对应的傅里叶变换矩阵就是几维的方阵

对应的值就是\(e^{-j(\frac{2\pi}{N})u\cdot i}\)，\(u\)是行号，从0到N-1，i是列号，从0到N-1 \[ \begin{align*} e^{-j(\frac{2\pi}{N})u\cdot i}&=\cos{(-(\frac{2\pi}{N})u\cdot i)}+j\sin{(-(\frac{2\pi}{N})u\cdot i)}\\ &=\cos{((\frac{2\pi}{N})u\cdot i)}-j\sin{((\frac{2\pi}{N})u\cdot i)}\\ \end{align*} \]

由于三角函数的性质，第一行和第一列一定是1，因为第一行的行号是0，第一列的列号是0，所以对应的\(\cos{((\frac{2\pi}{N})u\cdot i)}-j\sin{((\frac{2\pi}{N})u\cdot i)}\)就是\(\cos{0}-j\sin{0}=1\)

然后根据公式计算对应的值就好

最后可以得到三张图：

分别是信号值与时间轴的图、频谱幅值与频率轴的图、相位值与频率轴的图

信号值，就是原向量的值

频谱幅值，就是求计算出来复数的模，即\(\sqrt{R^2+I^2}\)

相位值，就是对应的点与原点的连线，与实轴的夹角，取值为\([0,2\pi]\)，比如第一个值，11，就在实轴上，所以夹角为0；第三个值，-5，在实轴的负半轴，夹角为\(\pi\)，就是3.14，另外两个同理

傅里叶变换性质

线性性质

比例性质

可分离性

可分离性，就把一个二维傅里叶变换变成了两个一维傅里叶变换

如图，先行变换再列变换和先列变换再行变换的结果是一样的

平移性质

时移

如图，空间域平移图像，频谱幅度不变，相位变

频移

如图，频移就是把频谱图移动，对应的相位图也会跟着变，原图也变

周期性

共轭对称性

旋转不变性

平均值

卷积定理

相关

频域变换的一般表达式

离散余弦变换

变换核为余弦函数

傅里叶变换的图像，能量集中在四个角

离散余弦变换，能量集中在左上角

频域变换中图像处理的实现

数字图像的频谱图

数字图像频移后的频谱中，图像的能量将集中到频谱中心（低频成分），图像上的边缘、线条细节信息（高频成分）将分散在图像频谱的边缘

频谱中低频成分代表了图像的概貌，高频成分代表了图像中的细节

频域图像处理步骤

滤波器

低通滤波器：保留小于等于D0的频谱图


高通滤波器：保留大于D0的频谱图


带通滤波器：允许指定范围频域保留


带阻滤波器：抑制指定范围的频率成分


巴特沃斯滤波器

小波变换（了解）

数学显微镜

数学形态学基础

利用集合论的方法处理图像，主要是二值图像，扩充到灰度图像


集合论的基本概念

一幅图像称为一个集合

交集并集补集

击中击不中（交集是否为空）


结构元素，参考点，利用结构元素处理图像的基本方式

目标图像：被处理的图像

结构元素：考察目标图像各部分之间的关系时，需要设计一种收集信息的“探针”

基本方式：腐蚀膨胀


基本的形态学运算，腐蚀和膨胀，二者的结合开运算和闭运算

二值形态学的4种基本运算，即腐蚀、膨胀、开和闭运算

腐蚀对应的集合运算：\(X\ominus S=\{x|S+x\subseteq X\}\)

膨胀对应的集合运算：\(X\oplus S=\{X+s|s\in S\}\)或\(X\oplus S=\{S+x|x\in X\}\)

开运算：\(X\circ S=(X\ominus S)\oplus S\)，即先腐蚀后膨胀

闭运算：\(X\bullet S = (X\oplus S)\ominus S\)，即先膨胀后腐蚀


击中与击不中变换，了解骨架提取，等形态学应用

击中击不中变换，就是2个结构元素，必须保证S1覆盖前景，S2覆盖背景，两个都要满足

骨架提取用的快速形态学细化算法，考试会提供细则

引言

数学形态学可用于获取图像边界、提取骨架、去除噪声和检测角点，其应用覆盖文字识别、视觉检测、医学图像处理等领域

数学形态学采用具有一定形态的结构元素去度量和提取图像中的对应形状，以达到图像分析和识别的目的

数学形态学由一组形态学的代数运算子组成，其基本运算有：膨胀、腐蚀、开和闭运算


数学形态学具有完备的数学基础——集合论，为形态学用于图像分析和处理、形态滤波器的特性分析和系统设计奠定了基础

基本符号和术语

前景：取值为1

背景：取值为0

平移和反射：

平移：

反射：

二值形态学

用结构元素S对图像集合A操作

腐蚀

腐蚀举例

对（2,2）这个点，将其与S相加，得到三个点：{（2,2），（3,2），（2,3）}，其中（2,3）不在原图像X中，则（2,2）这个点舍弃

相当于：把结构元素S的参考点与（2,2）这个点重合，结构元素（0,1）这个点没有与原图重合，则参考点对应的（2,2）就被舍弃

可见，结构元素越大，腐蚀结果越强

膨胀

膨胀举例

对S中的第一个点（1,0）

对S中的第二个点（0,1）

对S中的第三个点（0,0）

最后求并集即可：

膨胀和腐蚀的作用

腐蚀：符号为\(\ominus\)

膨胀：符号为\(\oplus\)

开运算和闭运算

开运算：先腐蚀再膨胀

闭运算：先膨胀再腐蚀

开运算和闭运算的性质（了解）

击中/击不中变换

击中/击不中变换举例

解释：必须保证S1覆盖前景（1），S2覆盖背景（0）

比如（1,2）这个点，对应的S1是（1,1），是前景点，对应的S2是（0,1），是背景点，完美符合，就保留（1,2）这个点

再比如（2,2）这个点，对应的S1是（2,1），是背景点0，并不是前景点，不满足要求，不保留（2,2）

还是有点不好算的，我感觉容易错

击中/击不中变换另一种表达形式

击中/击不中变换可以用于形状识别和端点定位

灰值形态学

灰值腐蚀

比如取灰度图的（1,4）这个点进行灰度腐蚀

结构元素腐蚀，得到3个点：（1,4），（0,4），（1,5）

对应的灰度分别是：10,3,5

取最小的灰度值3，作为（1,4）的腐蚀结果

会把结构元素模板覆盖到的像素最小灰度赋值为腐蚀结果

所以黑色区域会变大，白色区域会收缩

即斑点变大

灰度膨胀

注意：灰度膨胀需要将结构元素反射

取原图像（1,3）为例

结构元素（0,0）进行反射得到（0,0），则对应灰度图的点是（1,3），灰度为0

结构元素（-1,0）进行反射得到（1,0），则对应灰度图的点是（2,3），灰度为40

结构元素（0,1）进行反射得到（0,-1），则对应灰度图的点是（1,2），灰度为7

取最大值40作为（1,3）灰度膨胀结果

会把结构元素模板反射后覆盖到的像素最大灰度赋值为膨胀结果

所以白色区域会变大，黑色区域会收缩

灰度膨胀腐蚀之间关系（了解）

灰值开闭运算

开运算：先腐蚀后膨胀

闭运算：先膨胀后腐蚀

举例：

先腐蚀后膨胀，会导致波峰被削弱，因为先进行腐蚀运算，取最小值

先膨胀后腐蚀，会导致波谷被提升，因为先进行膨胀运算，取最大值

先腐蚀后膨胀的开运算，会把亮的部分变暗

先膨胀后腐蚀的闭运算，会把暗的部分变亮

膨胀和腐蚀结合

膨胀结果减腐蚀结果可以提取边界

形态学应用

形态学滤波

骨架提取

快速形态学细化算法

重复删除图像边缘满足一定条件的像素，最终得到单像素宽带骨架

逐像素判别即可

删除像素的条件：

规则考试会给的

举例

这两个规则满足一个就可以删

满足一个，指这一个规则里对应的4条都满足

看不可删除情况1：

第一条满足，因为P1周围非零点个数为4

第二条不满足，因为0到1出现了2次（注意：是0到1，1到0就不算），分别是P7到P8，P9到P2

有一条不满足就不能删


看不可删除情况2：

第一条都不满足，因为因为P1周围非零点个数为1


看不可删除情况3：

第一条满足，因为P1周围非零点个数为5

第二条不满足，因为0到1出现了3次，分别是P2到P3，P4到P5，P8到P9

角点检测

图像分割

图像分割的基本概念，本章包含图像的区域分割，边界检测，结果都是二值图像

图像分割就是指把图像分成一系列有意义的、各具特征的目标或区域的技术和过程

图像分割一般基于像素灰度(颜色)值的两个性质：不连续性和相似性


经典图像分割，借助简单的理论对图像分割，阈值法，迭代阈值法，Otsu 阈值法，区域生长，区域分裂与合并

阈值分割：二值分割，多阈值分割，极小值阈值法，迭代阈值法，最优阈值法，Otsu阈值法，直方图变换法，动态阈值分割

基于区域分割：区域生长，区域分裂与合并，分水岭分割


分水岭分割，利用地理学的分水岭概念，基本的处理过程。分水岭算法的主要用途

概念：低洼，集水盆地，分水线

基本过程：降雨法和淹没法，主要目的就是找出集水盆地之间的分水线

主要用于图像分割、目标识别、图像处理


边界检测：

  1. 简单边界检测，采用常用的微分模板，对图像进行滤波，得到梯度响应，设定一个阈值，大于阈值的认为是边界，但效果较差

常用的模板（算子）：Roberts，Prewitt，Sobel，Krisch，Isotropic Sobel

  1. Canny 算子，一个较为复杂的边界检测方法


几何对象检测：Hough 变换，在原始空间中检测直线非常困难，将图像中二维的直线在参数空间中用一个点表示，极坐标表示直线具有的优点，二维数组累加器，局部最大响应检测特定直线

极坐标表示直线优点：在参数空间用一个点就能表示一条直线，用一根正弦函数就能表示所有过同一个点的直线

二维数组累加器：用于确定参数空间中多条正弦函数的交点，即找出原始空间中过这些点的一条直线

图像空间中特定几何形状的检测转化为寻找其曲线方程参数空间中局部极大值点的问题


了解现代图像分割方法

  1. Mean shift，概率密度梯度估计，设计适用于图像处理的核函数

(2)超像素，将图像分割成大致相同面积的小区域，初始种子，局部聚类

  1. Graph Cut，基于图的分割方法，将像素看作是图的结点，再加上两个特殊的结果，构成了一个图，运用最大流最小切（max flow/min cut）方法对像素进行分类

  2. Active contour model：基本思想，内部能量和外部能量和特点

阈值分割

图像分割基础

4连通和8连通

阈值分割

固定阈值

二值分割
多阈值分割

阈值分割一般公式

阈值分为全局阈值，局部阈值和动态阈值（自适应阈值）

全局阈值

极小值阈值法

若在求极小值点之前对直方图进行平滑处理，则效果会更好。例如3点平滑，平滑后的灰度级i的相对频数用灰度级i-1，i，i+1的相对频数的平均值代替

迭代阈值法

迭代阈值法思想：最佳阈值到两类均值的距离是相等的

迭代法没有理论依据

类似于“二分法解方程”

设置迭代阈值法的初始阈值

最优阈值法（了解）

Otsu法

了解公式即可，不需要推导

局部阈值

直方图变换法

动态阈值

在许多情况下，由于光照不均匀等因素的影响，图像背景的灰度值并不恒定，目标与背景的对比度在图像中也会有变化，图像中还可能存在不同的阴影

使阈值随图像中的位置缓慢变化，可以将整幅图像分解成一系列子图像，对不同的子图像使用不同的阈值进行分割

基于区域的分割

区域生长

从一个种子像素出发，将相似的逐渐合并

区域分裂与合并

分裂与合并的准则

分裂时的一致性准则为：如果某个子区域的灰度均方差大于1.5，则将其分裂为4个子区域，否则不分裂

合并时的相似性准则为：如果相邻两个子区域的灰度均值之差不大于2.5，则合并为一个区域

先分裂，再合并

分水岭分割

把图像看作是一幅地形图（二维曲面）

灰度图像可以看作是一片地形图，像素的灰度值代表该点的地形高度，在地形中有低洼、分水线、集水盆地等地貌特征

弄清楚“低洼”，“集水盆地”，“分水线”概念

局部最小点，称为低洼

流向一个确定的低洼的点，称为集水盆地

等概率地流向不同低洼的点，称为分水线

分水岭算法

常用降雨法和淹没法

虽然这两种的思想很简单，但是设计算法很难

降雨法
淹没法

从下往上涌

分水岭分割Vincent-Soille算法

基于淹没法的思想

基于标记的分割

算分水岭的改进

边缘检测

图像的边缘是图像的最基本特征，它是灰度不连续的结果

微分算子

用导数可以检测边界

通过计算一阶导数或二阶导数可以方便地检测出图像中每个像素在其邻域内的灰度变化，从而检测出边缘

一阶差分

梯度就是一阶偏导数

二阶差分

一阶导数和二阶导数

梯度算子

一阶导数

其实这个需要画图理解

卷积结果如图所示

故sobel垂直方向模板可以检测水平边界


同理

水平方向模板可以检测垂直边界


二阶导数

效果都不是很好

Canny边缘检测算子

步骤如下：

Canny算子检测过程：

边界连接

Hough变换

可以检测几何特征

Hough变换反映的是图像空间的几何形状与其在参数空间中的映射关系

直观点的说法就是，图像空间中由某特定曲线方程表示的几何形状，在曲线方程的参数空间中对应于一个点

图像空间中特定几何形状的检测转化为寻找其曲线方程参数空间中局部极大值点的问题

把直线对应到参数空间的一个点

变换公式：

在参数空间中，\(\theta\in[-\frac{\pi}{2},\frac{\pi}{2}]\)

可以构建一个二维数组空间，初始化为0，称为“累加器”

过一点的全部直线，在参数空间形成一条正弦曲线

所以，同时过两个点的曲线，在参数空间中就是两条正弦曲线的交点

这就是Hough的检测过程

聚类分割

Mean Shift分割

概率密度梯度估计

超像素分割

把图像分为大致相等面积的小区域

初始种子

局部聚类

图论分割

基于图分割方法

将像素看做图的结点，用户手动标记前景和背景信息

最大流最小切方法对像素分类

活动轮廓分割

基本思想：内部能量和外部能量特点

图像特征与理解

经过图像处理后（例如梯度响应、图像分割、边界检测），如何从分割的区域和边界中提取特征，用于后续的图像分析


几何基本特征：几何特征和形状特征

几何特征：位置方向、周长（隙码，链码，边界面积）、面积（像素，格林公式）、长轴短轴、距离

形状特征：矩形度、圆形度、球性状、偏心率、形状描述子（边界链码，一阶差分链码，傅里叶描述子）


角点特征：Moravec 算法、Harris 算法，区别与联系，Harris 算法的基本过程；在不同图像特征区域Harris角点响应的区别

Harris算法是在Moravec算法的基础上改进的，因为Moravec算法计算复杂度太高，Harris算法在Moravec算法基础上多加了一个窗口函数，通常是高斯函数，将算法改写成矩阵相乘的形式，就能用对应的矩阵求出角点

Harris算法基本过程：先求Harris响应；找到具有较大响应的阈值: R>threshold，大于的保留，小于的丢弃；提取角点响应的局部极大值；把这些点对应到原图，就是角点

不同图像特征区域Harris角点响应的区别：当该点周围为一个光滑区域时，其在各个方向的灰度变化都小；当该点周围为边结构时，沿着边界方向的灰度值变化较小；而当该点周围为一个角结构时，其在各个方向的灰度值都有较大的变化


纹理分析：统计法（灰度差分统计法，行程长度统计法，联合概率矩阵法，都挺好算）

频谱法、联合概率矩阵


不变矩特征：

  1. 不变矩特征要解决的问题是什么，在什么情况下具有不变性

不变矩特征在数字图像处理中主要解决的问题是如何在图像发生变化（如平移、旋转、缩放等）的情况下，仍能准确地描述和识别图像的特征。这种特性使得不变矩特征在图像识别、目标跟踪、图像配准等领域中具有重要的应用价值

由于图像区域的某些矩对于平移、旋转、尺度等几何变换具有一些不变的特性，因此，矩的表示方法在物体分类、识别方面具有重要意义

(2)不变矩的基本概念，质心坐标与中心矩，归一化中心矩

不变矩：利用归一化的中心矩，可以获得6个不变矩组合，它们对平移、旋转和尺度等变换都是不变的

质心坐标：

其中，对于二值图像，M00为1的个数，M10是所有非0点x坐标之和，M01是所有非0点y坐标之和

中心矩：

归一化中心矩：


图像匹配：

  1. 基本概念及过程

基本概念：将给定的两幅图像中相同或者相似的内容对应起来

过程：模板匹配就是把模板放在原图上滑动，搜索匹配的相关系数最大时所在的位置；直方图匹配就是利用图像的颜色特征描述图像，可借助图像特征的统计直方图进行图像的匹配

  1. 常见的图像匹配方法

模板法：相关法、误差法

直方图匹配：直方图相交法，欧几里德距离法，中心矩法，闵可夫斯基距离法


局部不变特征点提取：

  1. 什么是局部特征点？具备的主要特性

稳定出现并且具有良好的可分性的点（称为局部特征）对目标识别能够起到关键作用

特性：

重复度高：不同角度拍摄下的同一场景的两幅图像的 重叠区域中，同一特征点能被检测的重复程度高

独特性：检测到的特征点应与周围有明显的区别

局部性：特征具有局部性

数量多：特征点的数目应该足够，增加匹配的可靠性

准确性：检测到的特征点应该在位置、尺度等方面具有很高的准确性

高效性：特征检测算法效率高，满足实际应用需求

  1. SIFT 的基本过程(了解)

  1. 尺度空间

  2. 特征点提取

  3. 特征点描述子

  4. 特征点匹配

  1. SURF 主要特点 (b-d 了解)

  1. 积分图像的基本概念

  2. 建立尺度空间

  3. 利用非极值抑制确定特征点

  4. 选取特征点的主方向

其中，积分图像需要理解

很简单，就是原点到所选点所构成的矩形区域，算灰度之和，然后赋值到所选点

有了积分图像，就可以快速算出灰度之和

图像的基本特征

几何特征

位置和方向

周长

隙码

隙码：数边界个数就行，横平竖直

链码

链码：把像素看做一个点，8个方向，计算点到点的距离，横着的方向算1，斜着的方向算\(\sqrt{2}\)

边界面积之和表示周长

面积

像素计数
封闭曲线格林公式

长轴和短轴

距离

欧几里得距离，市区距离，棋盘距离

欧几里得距离，就是正常的距离计算

市区距离，就是只能用横平竖直的长度计算

棋盘距离，就是在市区距离的基础上，求出最大的横或竖的距离

形状特征

矩形度

反映物体对其外接矩形的充满程度

圆形度

用来刻画物体边界的复杂程度

致密度、边界能量、圆形性、面积与平均距离平方的比值

理解致密度、边界能量，后面两个图一乐

球性状

刻画物体接近于球的程度

要会算：内切圆与外切圆半径之比

偏心率

描述了区域的紧凑性

形状描述子

形状描述子能对物体形进行简洁的描述

边界链码

注意最后没回到起点，而是在起点前的一个

一阶差分链码

不做要求，了解

傅里叶描述子

结论：用少量的低频分量的傅里叶系数足以近似描述边界形状

角点特征

定义 ：通常指二维图像亮度变化最剧烈或图像边缘曲线上曲率值最大的像素点

性质：作为一个重要的局部特征，角点利用极少的像素，集中了图像很多重要的形状信息，具有旋转不变的特点，且对光照不敏感

应用：在图像匹配、摄像机标定、三维重建、运动物体的跟踪及模式识别等领域有着重要的应用

角点检测算法的准则：检测性、定位性、稳定性和复杂性

Moravec算法

相邻元素相减，各个方向都变化大，认为存在一个角点

Harris算法

能改写成矩阵的形式

步骤

先求Harris响应

找到具有较大响应的阈值: R>threshold，大于的保留，小于的丢弃

提取角点响应的局部极大值

把这些点对应到原图，就是角点

对亮度变化不敏感，对尺度变化敏感

纹理分析

纹理(Texture)一词最初指纤维物的外观，一般来说，可以认为纹理是由许多相互接近的、互相编织的元素构成，它们富有周期性

与图像分析直接有关的定义是：一种反映一个区域中像素灰度级的空间分布的属性。纹理是图像中一个重要的特征，呈现为某种图案在图像上有规律的重复

纹理分为人工纹理和自然纹理

统计法

利用灰度直方图的矩来描述纹理的，又可分为灰度差分统计法和行程长度统计法

灰度差分统计法

水平方向两个临近的点相减

每个像素与他右边的像素相减就行了

右边减不了就不考虑

相当于就是梯度

行程长度统计法

很好理解，p的下标指明了方向，第二个括号表示一个像素连续出现几次

比如\(p_{(1,0)}(8,2)\)就是沿（1,0）方向，像素值为8，连续出现2次的次数：就是5次

联合概率矩阵法

还是刚刚一样的，只是这次指定ab就指定了方向，a为行方向，b为列方向

第一个矩阵，0行1列是10，说明01连续出现，有10次

后面同理

不变矩特征

由于图像区域的某些矩对于平移、旋转、尺度等几何变换具有一些不变的特性，因此，矩的表示方法在物体分类、识别方面具有重要意义

矩的定义

零阶矩就是1的个数

二值图像，f(x,y)为0或1

所以M10就是所有取值为1的x坐标总和

所以M01就是所有取值为1的y坐标总和

不变矩

图像匹配

图像匹配：将给定的两幅图像中相同或者相似的内容对应起来

模板匹配

相关法

相关法：模板放在原图上平移搜索

误差法

直方图匹配

直方图匹配：为利用图像的颜色特征描述图像，可借助图像特征的统计直方图进行图像的匹配

直方图相交法

欧几里得距离法

中心矩法

闵可夫斯基距离法

局部不变特征提取

局部特征：稳定出现并且具有良好的可分性的点（称为局部特征）对目标识别能够起到关键作用

局部不变特征点的提取方法应具备特点

  1. 重复度高：不同角度拍摄下的同一场景的两幅图像的重叠区域中，同一特征点能被检测的重复程度高

  2. 独特性：检测到的特征点应与周围有明显的区别

  3. 局部性：特征具有局部性

  4. 数量多：特征点的数目应该足够，增加匹配的可靠性

  5. 准确性：检测到的特征点应该在位置、尺度等方面具有很高的准确性

  6. 高效性：特征检测算法效率高，满足实际应用需求

SIFT

基本过程：

建立尺度空间

特征点的提取

特征点描述子

特征点匹配

SURF

积分图像

理解积分图像：

原点为左上角的点

很简单，就是原点到所选点所构成的矩形区域，算灰度之和，然后赋值到所选点

有了积分图像，就可以快速算出灰度之和

图像压缩

图像编码的原因是什么？定义，图像的常见冗余类型

原因：海量图像、视频数据及多媒体数据处理的应用需求，对存储容量、信道带宽和计算能力提出了更高要求，迫切需要针对图像和视频的特点对其数据进行压缩编码，以提高存储、传输和处理效率

定义：一种在满足一定保真度条件下，通过编码和变换等方式去除冗余或无关数据而减少表示图像所需数据量的技术

常见冗余类型：空间冗余，时间冗余，编码冗余，结构冗余，视觉冗余和知识冗余


图像编码的主要术语及其意义？

编码效率：定义为信源的熵除以平均码字长

冗余度：冗余度与编码效率成反比，编码效率越高，冗余度越低

压缩比：压缩比为自然编码时的码长m与编码的平均码字长的比值

变字长编码定理：对出现概率大的灰度级（信源符号）赋予短字码，而对概率较小的灰度级赋予长码字


图像压缩的基本过程，图像压缩质量的评价

图像输入进编码器，压缩图像，图像从解码器输出

度量解码图像与原始图像偏离度的准则称为保真度准则，可分为主观保真度和客观保真度准则，用于评价压缩图像质量

客观质量评价以解压后的图像和压缩前的原图像之差为基础，采用一定的指标度量保真度

主观质量评价能够与人的视觉效果相匹配，是指由一批观察者对压缩图像进行观察并打分，然后综合所有人的评判结果给出质量评价


图像编码的常见定理

基本编码定理

变字长编码定理

无损编码原理

无失真变长编码定理


图像编码的类型，常见的无损和有损编码方法（了解）

无损压缩编码类型：霍夫曼编码，香农编码，算术编码，LZW编码

有损编码：JPEG

图像编码概述

定义：一种在满足一定保真度条件下，通过编码和变换等方式去除冗余或无关数据而减少表示图像所需数据量的技术

图像数据冗余

空间冗余

时间冗余

编码冗余

结构冗余

视觉冗余和知识冗余

图像压缩基本过程

图像输入进编码器，压缩图像，图像从解码器输出

图像压缩质量评价

度量解码图像与原始图像偏离度的准则称为保真度准则，可分为主观保真度和客观保真度准则，用于评价压缩图像质量

客观质量评价以解压后的图像和压缩前的原图像之差为基础，采用一定的指标度量保真度

主观质量评价能够与人的视觉效果相匹配，是指由一批观察者对压缩图像进行观察并打分，然后综合所有人的评判结果给出质量评价




参考资料

课程PPT

数字图像处理-辅导讲解提纲