本次打算梳理下最基本的几个矩阵之间的关系以及计算，总结大体内容：
1. 单应性矩阵的基本概念
单应性变换包含什么样的射影组合(projective transformation)？
单应性关系的前提条件？
单应性与极几何的联系？
2. 单应性矩阵的计算
本质矩阵和基础矩阵的性质，上一篇博文有详细介绍，所以此处只讲计算方法了。
3. 基础矩阵的计算及计算前提条件
4.本质矩阵的计算
本质矩阵E反映空间一点在不同视角摄像机下摄像机坐标系中的表示之间的关系。基础矩阵F反映空间一点在不同视角摄像机下图像坐标系中的表示之间的关系。
再讲下基本矩阵，存在这么一个矩阵F，使得空间中不在两图像平面上的任意点X分别在两图像的投影坐标x,x'满足等式(x')T*F*x=0，即x'的转置乘以F，再乘以x的结果为0，那么F就是左边图像到右边图像的基本矩阵，从公式上可以看出基本矩阵是有方向的，右图到左图的基本矩阵就是F的转置。F矩阵有如下性质：1、秩为2；2、F矩阵是一个7个自由度的3*3矩阵(3*3矩阵本身9个自由度，因为相差一个常数因子和行列式值为0两个条件，减掉2个自由度)，相差一个常数因此的意思是：kF(k!=0)也是基本矩阵，也就是说如果F是基本矩阵，那么kF也是基本矩阵，所以基本矩阵不唯一，在相差一个倍数的前提下是唯一的，也就是我们可以固定矩阵中某一个非零元素的值，这样自然少一个自由度。这里讲下自己对基本矩阵的理解：很简单，基本矩阵提供了三维点到二维的一个约束条件。举个例子，现在假设我们不知道空间点X的位置，只知道X在左边图上的投影x的坐标位置，也知道基本矩阵，首先我们知道的是X一定在射线Cx上，到底在哪一点是没法知道的，也就是X可能是Cx上的任意一点(也就是轨迹的意思)，那么X在右图上的投影肯定也是一条直线。也就是说，如果我们知道一幅图像中的某一点和两幅图的基本矩阵，那么就能知道其对应的右图上的点一定是在一条直线上，这样就约束了两视角下的图像中的空间位置一定是有约束的，不是任意的。基本矩阵是很有用的一个工具，在三维重建和特征匹配上都可以用到。
5.给定本质矩阵，如何提取相机朝向R和相对位移关系(基线方向T)
1. 单应性矩阵的基本概念
什么是单应性矩阵？
单应性是几何中的一个概念。单应性是一个从实射影平面到射影平面的可逆变换，直线在该变换下仍映射为直线。它是一对透视投影的组合射影变换群。它描述了当观察者视角改变时，被观察物体的感知位置会发生何种变化。射影变换并不保持大小和角度，但会保持重合关系和交比。
在计算机视觉领域中，空间中同一平面的任意两幅图像通过单应性关联在一起（假定是针孔相机）。比如，一个物体可以通过旋转相机镜头获取两张不同的照片(这两张照片的内容不一定要完全对应,部分对应即可),我们可以把单应性设为一个二维矩阵M,那么照片1乘以M就是照片2. 这有着很多实际应用，比如图像校正、图像对齐或两幅图像之间的相机运动计算（旋转和平移）等。一旦旋转和平移从所估计的单应性矩阵中提取出来，那么该信息将可被用来导航或是把3D物体模型插入到图像或视频中，使其可根据正确的透视来渲染，并且成为原始场景的一部分。
假设图A中有一个点x的坐标为(u,v,1)，图B中对应匹配点x’坐标为(u’,v’,1)，那么单应性矩阵可以将两个坐标联系起来：
注意，这种单应性联系不依赖于观察场景结构，即无论相机拍摄什么画面，两个画面的单应性关系保持不变。
单应性变换包含什么样的射影组合(projective transformation)？
首先看等距变换Isometries transformation，它相当于是平移变换和旋转变换的复合。
上式也可以写作：
上式中ε等于正负1，当ε=1时，等距变换与原结构保持相同方向，即是欧氏变换，表达刚性物体运动；当ε=-1时，等距变换是逆向的。另外，R是正交矩阵。
等距变换有三个自由度，一个旋转，两个平移。等距变换后目标结构的长度、角度、面积与原结构相同。
再看相似变换(Similarity Transformation)，它相当于是等距变换和均匀缩放的一个复合。
相似变换可以从两组匹配点计算出来，它有四个自由度，一个尺度，一个旋转，一个平移。相似变换后目标结构内部的角度、长度比、面积比保持不变。R是正交矩阵
再看仿射变换(Affine Transformation)，它相当于一个平移变换和一个非均匀变换的复合。
仿射矩阵A是2阶非奇异矩阵，A通过奇异值分解为旋转rotation和非均匀缩放deformation：
上式中U和V都是正交矩阵，对A简单描述下：λ1和λ2代表旋转后的目标在x和y方向的缩放比例，所以是非均匀的。Φ代表缩放的方向，θ代表旋转的方向。
仿射变换中A有六个自由度，2个尺度，2个旋转，2个平移。经过仿射变换后，原来平行的线还是平行的，并且平行线段的长度之比保持不变，面积之比也是不变的。另外仿射变换是否保向，取决于A的行列式值的正负。
最后看射影变换projectivetransformation，也就是单应性矩阵，他表达齐次坐标的非奇异线性变换。
v是射影变换后平行直线可能不再平行的原因。
由于齐次坐标对于尺度具有不变性，可以从H中提取该尺度(比如v)，因此单应性矩阵有8个自由度。两个平面之间的射影关系，可以通过4组匹配点计算得到(注意任意3点不可共线)。经过射影变换后，目标结构的交比cross ratio保持不变(两个平面上分别有4个点，平面1上线段AB与线段CD之比，等于平面2上线段A’B’与线段C’D’之比)。另外变换前后共点，共线，相切，拐点，切线的不连续性和岐点保持不变。
射影变换可以看作是一些列变换的组合：
上三角矩阵K的行列式值为1，v不等于0，如果s的正负确定，则H是唯一的。
HP (2 dof) moves theline at infinity; HA (2 dof) affects the affine properties, but does not movethe line at infinity; and finally, HS is a general similarity transformation (4dof) which doesnot affect the affine or projective properties.
总结：
下图中参数数量与上面不符，因为他针对的是3D点，上面是2D点
单应性关系的前提条件？
如果两幅图像之间的相机运动只有旋转而没有平移，那么这两幅图像通过单应性关联在一起（假定是针孔相机）。也就是说(if and only if)：
a. Both images are viewing thesame plane from a different angle
b. Both images are taken from thesame camera but from a different angle.( Camera is rotated about its center ofprojection without any translation)
也就是说:
a.当两个相机所代表的视平面(image plane)相互平行，stereo normal case，单应性矩阵才是有效的。(baseline不为0，但是极点在无穷远)
b.当且仅当相机是绕相机中心旋转，没有偏移，baseline什么的都是零，单应性矩阵才是有效的。(baseline为0)
单应性与极几何的联系？
下图为极几何的经典视图，相机A的中心为O1，相机B的中心为O2，它们共同看到空间一点P。根据极几何的性质，空间中所有落在直线O1P上的点，最终都会落在在Image Plane B的极线上。
根据单应性的前提条件，单应性与极几何的区别在于两个相机主点之间的距离为0时，
总结起来：
当相机之间存在偏移，那么该用极几何关系描述点的对应关系，此时两个图片之间点的匹配依赖于物点的深度，即物点到相机的距离。
It maps a point in one image to a line in the other image. Actualmatching point depends on the depth of that point,that is its distance from thecamera
当相机之间不存在偏移时，极几何关系不再适用，该用单应性描述点的对应关系，此时两个图片之间点的匹配不依赖于物点的深度。(此时三角方程不成立)
It maps a point in one image to a point in the other image. Themapping does not depend on the depth (distance) of point to the camera. Thismakes sense because baseline z zero means ordinary stereotriangulationequations fail.
从下图看出相机拍摄时并未有偏移，故通过单应性做的图像拼接。
从单应性矩阵的定义出发：
除此之外，我们可以通过归一化坐标，使得h的结果是numerical stable。但是即使这样，这种做法对于噪声非常敏感，有几个outlier就完蛋了。
而第二种方法就很好，
为了使上式为0，咱只要对左侧ATA进行奇异值分解，挑选奇异值前九个最小的v的列向量作为h即可，SVD：
Let h be the column ofV (unit eigenvector) associated with the smallest eigenvalue in D.(if only 4points, that eigenvalue will be 0)
Matlab代码：
3. 基础矩阵F的计算及前提条件
分别取[xn’,yn’,1]，[xn’’,yn’’,1]与F的第一个元素，得到展开式
按照下图定义an和f，得到线性方程
我们同样使用奇异值分解去求Af=0这个方程。由于基础矩阵F是齐次的，矩阵A的秩不大于8，因此我们只要8对匹配点就可以解该方程。实际场景中有可能有不止8对匹配点，而且这些匹配点中存在噪声，矩阵A可能是满秩的(should not be)。此时，我们把A中最小的奇异值对应的奇异向量作为基础矩阵F的解。
通过下图可以清晰得看到SVD全貌，即V的最后一列(对应D的最小的九个奇异值)是F的解。但是这还不够，现在并不能保证F的秩等于2(否则Af全为0了，不符合噪声实际情况)。
现在的目标是使r(F)=2，并且F应该与我们的估计F’无限接近。怎么做？
我们对F本身进行第二次奇异值分解，从F’的奇异值中挑最小的，并将它设置为0.也就是说，根据上一步得到的F’，我们强制修改F’的奇异值，而不改变U’，V’，使得rank(F’)=2。
Matlab代码：
注：
在求单应性矩阵时扯到过坐标归一化，防止numerically unstable，这里详细讲下。
数值不稳定是指，比如对于一副3000*4000的图片，由于其图片像素坐标过大，使得计算结果不稳定。我们按照下图所示，将原点移动到图像中心，将像素点坐标约束到(-1,1)。
坐标归一化，会改变真实F的值，那么坐标归一化前后基础矩阵的对应关系为：
设存在变换T使得坐标x归一化
哪些情况下，基础矩阵的F会很不稳定?
a.如果所有匹配点对应的物点均在同一平面上，即rank(A)<8，此时Af=0无解。就好比很难对墙面上的画做三维重建
b.如果两个相机的光心重合，即相机没有移动，纯粹旋转，则skew-symmetric矩阵全为0，此时需要考虑使用单应性关系。
4. 本质矩阵E的计算
我们可以模仿之前求基础矩阵的方法求本质矩阵，不过此时E的约束关系除了秩必须为2，还要求E的奇异值均为1。
Matlab代码：
注意:
上面代码函数的输入参数，不是图像坐标，而是乘以相机内参后的图像坐标，xs=K*xs
坐标归一化同样使用此处
5. 给定本质矩阵E，如何计算相对位移关系及相机朝向
给定本质矩阵，我们可以提取R和基线b方向T，但是解并不唯一，实际上有四种！！
只有左上角这种情况是我们需要的(右上角是绕b旋转了180度，不对的哈)，衡量正确与否的标准是：根据R和T复原的点，必须同时位于两个相机的前方。接下来具体展开如何求R和T。
根据E的奇异值分解：
上述做法是从E的两种定义上套用的，现在很轻松的写出基线方向T和旋转矩阵R的表达式。然后这还没完，因为Z和W有尼玛4种组合：
因此E有四种结果，而基线方向T和旋转矩阵R分别有两种情况：
对极几何定义：是两个视图间的内部射影几何，它只与摄像机的内部参数和相对位姿有关，与场景结构无关。
基线（baseline）：连接两个摄像机光心的线。
两个视图的对极几何的本质：描述图像平面与一个平面(以基线为旋转轴的平面)的交叉几何关系。
用途（对极约束：EpipolarConstraint）：在双目匹配中，给定左图的一个点，不必在整个右图中搜索对应的点。“对极约束”把搜索空间缩减到一条线。
极点（Epipole）：基线与图像平面的交叉点。即左图的极点：是左摄像机看到右摄像机所在的位置；右图的极点：是右摄像机看到左摄像机所在的位置。
对极平面（EpipolarPlane）：包含基线的平面
对极线（EpipolarLine）：对极平面与图像平面的交叉线。所有的对极线相交于极点，且位于同一对极平面的对极线一一对应。
本质矩阵和基本矩阵都是3x3矩阵，且编码两个视图的对极几何。
1）更少的自由度
2）更多的功能特性
1） 给定一个图像上的一个点，被本质矩阵或基本矩阵相乘，其结果为此点在另一个图像上的对极线，在匹配时，可以大大缩小搜索范围。
2）可用于求R 和 T
在对极约束条(Epipolar Constraint)件下进行推导。
R: Rotation T: Translation
1) rank (E) = 2 (本质矩阵的秩为2，非常重要)
2) 本质矩阵仅依赖外部参数（Extrinsic Parameters) （R & T）决定。
3) 使用摄像机（Camera）坐标系
上图中的pr、pl为camera坐标系。
1) rank (F) = 2 (基本矩阵的秩为2，非常重要)
2) 基本矩阵依赖内部和外部参数（Intrinsic and Extrinsic Parameters) （f, R & T）决定。
3) 使用像素坐标系
2D projective geometry is the study of properties of the projective plane IP2 that are invariant under a group of transformations known as projectivities.
A projectivity is also called a collineation (a helpful name), a projective transformation or ahomography: the terms are synonymous.
单应矩阵实际就是个透视变换矩阵，纯2D变换，我知道的只是用在了BA里做为一种约束条件而已。
Introduction Inspired by this cover. The book is written in a deadpan manner. 根据封面的启发，这本书是在面无表情的方式下编写 cutting corners to meet arbitrary management deadlines. 投机取巧来满足任意管理期限 Code Licensing Issues[编码许可问题...
什么是Homography 在图1中有两张书的平面图，两张图分别有四个相对位置相同的点，Homography就是一个变换（3*3矩阵），将一张图中的点映射到另一张图中对应的点 因为Homography是一个3*3矩阵，所以可以写成 H=⎡⎣⎢h00h10h20h01h11h21h02h12h22⎤⎦⎥H=[h00h01h02h10h11h12h20h21h22] 两张图间的H映射关系就可以表示成 ...
在知乎问题：深度学习应用在哪些领域让你觉得「我去，这也能行！」？中遇到一篇来自CVPR 2016的文章《Deep Image Homography Estimation》，感觉对自己帮助很大，所以记录在这里。 之前自己也在思考如何利用神经网络实现图像的配准，没思考出什么结果来。大部分的深度学习中使用的是单幅图像进行训练，如果输入的是变形图像和参考图像，其实可以借鉴图像匹配的网络，但是还是不清楚具体...
在之前的博文OpenCV，计算两幅图像的单应矩阵，介绍调用OpenCV中的函数，通过4对对应的点的坐标计算两个图像之间单应矩阵HH，然后调用射影变换函数，将一幅图像变换到另一幅图像的视角中。当时只是知道通过单应矩阵，能够将图像1中的像素坐标(u1,v1)(u1,v1)变换到图像2中对应的位置上(u2,v2)(u2,v2)，而没有深究其中的变换关系。 单应(Homography)是射影几何中的概念，...
该博客内容发表在泡泡机器人公众号上，请尊重泡泡机器人公众号的版权声明 在ORB-SLAM初始化的时候，作者提到，如果场景是平面，或者近似平面，或者低视差时，我们能应用单应性矩阵(homography)，这三种情形在我应用SVO的过程中颇有同感，打破了我对HH矩阵的固有映像，即只能用于平面或近似平面。但是我不知道如何去具体分析这里面的误差，比如不共面的情况时，应用HH矩阵将一个图像坐标从图像1投影到...
二、平面标定（Homography变换） 1、定义 2、计算推导 3、应用 1、简单平面的转换 2、在四轴中求取2D点到3D点的转换关系 2.1 相机在手上 2.1.1 转换方程 2.1.2 直接法 2.1.3 旋转法 2.2 相机不在手上 2.2.1 转换方程 2.2.2 直接法 2.2.3 圆弧法 二、平面标定（Homography变换） 1、定义 单应性(homography)变换用来描述物...
RED Board将于下月进入indiegogo众筹。 科技，高端炫酷；创新，新鲜时尚；冒险，安全刺激；娱乐，奇幻乐趣。 如果说有什么东西能将这四个词集为一身，圣创智能科技的创始人&CEO刘圣佳认为，非电动滑板莫属。 年轻的学生创业者，总有着与众不同的兴趣和动力 可以说，刘圣佳是镁客君采访过的最年轻的创业者了，因为目前的她还是一位哈尔滨工业大学物联网工程专业的大四学生。然而，早在刘圣佳大一...
相信大家都知道备份工作文件的重要性，而 macOS 系统中最重要和实用的系统和文件备份功能便是 Time Machine 了，也有很多 Mac 用户直接使用它来进行日常备份。但备份归备份，真出意外时是否能够正常恢复反而成了很多个人用户所忽略的重点。 一般运维工程师或 IT Pro 在设计和实施数据备份解决方案时，通常都会定期做灾难恢复演练，以保证备份数据的可用性和可靠性。但最近被 Gitlab 运...
I am writing a small tool to automate some trivial tasks in SQL Server 2008 R2 (if it matters). One of the features it needs to do is read a csv file of users and passwords, and create logins in SQL S...
Is it possible in Windows Forms to constrain input to is data type. For instance if i want to insert a Date in a Textbox, i be limited to use only this chars [0-9,/] Is there a easy and fast way to do...
I have a little error with a script I wrote in bash and I can't figure out what's I'm doing wrong note that I'm using this script for thousands of calculations and this error happened only a few times...
Hello guys and developers and thanks to be here. I'm making an app for just personal use to wake up the screen of my device when volume buttons are pressed. I actually know how to intercepted the volu...