OpenCV42: 光流|Optical Flow

目标

在本章中，将学习：

• 运用 Lucas-Kanade 办法了解光流的概念及其估量
• 运用cv2.calcOpticalFlowPyrLK()等函数来盯梢视频中的特征点
• 运用cv2.calcOpticalFlowFarneback()办法创立一个密布的光流场

光流

光流是由物体或相机的运动引起的图画物体在两个接连帧之间的显着运动的形式。它是二维向量场，其间每个向量都是一个位移向量，显示点从第一帧到第二帧的移动。如下图所示。

它显示了一个球在接连 5 帧中移动。箭头表明其位移矢量。光流在以下范畴有许多应用：

• 运动结构
• 视频压缩
• 视频安稳
• …

光流根据以下几个假定：

• 目标的像素强度在接连帧之间不会改动
• 相邻像素具有相似的运动

假定第一帧中的像素I(x,y,t)（新的维度t，这里需求时刻）。它在dt时刻之后拍照的下一帧中移动距离(dx,dy)。因而，由于这些像素相同而且强度不变： $I(x,y,t)=I(x+dx,y+dy,t+dt)$

然后取右手边的泰勒级数近似，去掉公用项，除以dt得到如下方程：

fxu+fyv+ft=0f_x u + f_y v + f_t = 0fx​u+fy​v+ft​=0

其间： fx=∂f∂x  ;  fy=∂f∂yf_x = \frac{\partial f}{\partial x} \; ; \; f_y = \frac{\partial f}{\partial y}fx​=∂x∂f​;fy​=∂y∂f​

u=dxdt  ;  v=dydtu = \frac{dx}{dt} \; ; \; v = \frac{dy}{dt}u=dtdx​;v=dtdy​

上述方程称为光流方程。在其间，能够找到fxf_xfx​和fyf_yfy​，表明的是图画梯​​度。相同ftf_tft​是随时刻的梯度。但是$(u,v)$是不知道的。无法用两个不知道变量求解这个方程。所以供给了几种办法来处理这个问题，其间之一是 Lucas-Kanade。

Lucas-Kanade 办法

假定，一切相邻像素都将具有相似的运动。Lucas-Kanade 办法在该点周围采用 3×3 patch。所以一切 9 个点都有相同的运动。能够找到这 9 个点的(fx,fy,ft)(f_x, f_y, f_t)(fx​,fy​,ft​)。所以现在的问题变成了用两个超定的不知道变量求解 9 个方程。运用最小二乘拟合办法取得更好的处理方案。下面是最终的处理方案，它是两个方程 – 两个不知道问题并求解以取得处理方案。

[uv]=[∑ifxi2∑ifxifyi∑ifxifyi∑ifyi2]−1[−∑ifxifti−∑ifyifti]\begin{bmatrix} u \\ v \end{bmatrix} = \begin{bmatrix} \sum_{i}{f_{x_i}}^2 & \sum_{i}{f_{x_i} f_{y_i} } \\ \sum_{i}{f_{x_i} f_{y_i}} & \sum_{i}{f_{y_i}}^2 \end{bmatrix}^{-1} \begin{bmatrix} – \sum_{i}{f_{x_i} f_{t_i}} \\ – \sum_{i}{f_{y_i} f_{t_i}} \end{bmatrix}[uv​]=[∑i​fxi​​2∑i​fxi​​fyi​​​∑i​fxi​​fyi​​∑i​fyi​​2​]−1[−∑i​fxi​​fti​​−∑i​fyi​​fti​​​]

（用 Harris 角点检测器检查逆矩阵的相似性。它表明角点是更好的盯梢点。）

所以从用户的视点来看，这个想法很简略，给出了一些要追寻的要害，收到了这些点的光学流量矢量。但是，还有一些问题。到目前为止，正在处理的是小的动作，因而当有很大的动作时它失利了。要处理这一点，需求运用金字塔。当在金字塔上采样时，会消除小型动作，大的运动会变小。因而，通过在那里应用Lucas-Kanade，将光流与缩放合在一起了。

OpenCV 中的 Lucas-Kanade 光流

OpenCV的cv2.calcOpticalFlowPyrLK() 供给了一切这些功能。下面创立一个简略的应用程序来盯梢视频中的某些点。为了确定点，运用cv2.goodFeaturesToTrack()。取第一帧，检测其间的一些 Shi-Tomasi 角点，然后运用 Lucas-Kanade 光流迭代盯梢这些点。关于函数cv2.calcOpticalFlowPyrLK()，传递前一帧、前面的点和下一帧。它返回之后的点以及一些状态编号，如果找到之后的点，则值为 1，否则为零。在下一步中迭代地将这些点作为前面的点传递，迭代进行。

import cv2
import numpy as np
video_file = 'slow_traffic_small.mp4'
cap = cv2.VideoCapture(video_file)
# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
                       qualityLevel = 0.3,
                       minDistance = 7,
                       blockSize = 7 )
# Parameters for lucas kanade optical flow
lk_params = dict(
    winSize = (15, 15),
    maxLevel = 2,
    criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))
# create some random colors
color = np.random.randint(0, 255, (100, 3))
# Take first frame and find corners in it
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask=None, **feature_params)
# create a mask image for drawing purpose
mask = np.zeros_like(old_frame)
while True:
    ret, frame = cap.read()
    if ret:
        frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        # calculate optical flow
        p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)
        # Select good points
        if p1 is not None:
            good_new = p1[st==1]
            good_old = p0[st==1]
        # draw the tracks
        for i,(new, old) in enumerate(zip(good_new, good_old)):
            a, b = new.ravel()
            c, d = old.ravel()
            mask = cv2.line(mask, (int(a), int(b)), (int(c), int(d)), color[i].tolist(), 2)
            frame = cv2.circle(frame, (int(a), int(b)), 5, color[i].tolist(), -1)
        img = cv2.add(frame,mask)
        cv2.imshow('frame',img)
        k = cv2.waitKey(30) & 0xff
        if k == 27:
            cv2.destroyAllWindows()
            break
        # Now update the previous frame and previous points
        old_gray = frame_gray.copy()
        p0 = good_new.reshape(-1,1,2)
    else:
        cv2.destroyAllWindows()
        break

上述代码没有检查下一个要害点的正确程度。因而，即使图画中任何一个特征点消失，光流也有可能找到下一个看起来可能接近它的点。实际上， 关于稳健的盯梢，角点应该在特定的时刻间隔内检测点。OpenCV sample提出了这样一个比如，它每 5 帧找到一次特征点，还运转对光流点的向后检查，只挑选好的点 ）。代码见(github.com/opencv/open…)

成果如下：

OpenCV 中的密布光流

Lucas-Kanade 办法核算稀少特搜集的光流（在示例中，运用 Shi-Tomasi 算法检测到的角点）。OpenCV 供给了另一种算法来寻找密布光流。它核算帧中一切点的光流。它根据 Gunner Farneback 的算法，该算法在 Gunner Farneback 于 2003 年在“Two-Frame Motion Estimation Based on Polynomial Expansion”中进行了解释。

下面的示例显示了怎么运用上述算法找到密布光流。首先得到一个带有光流向量$(u,v)$的 2通道向量，找到它们的巨细和方向。对成果进行色彩编码以实现更好的可视化。方向对应于图画的色调值（Hue），起伏对应于值屏幕。代码如下：

import cv2
import numpy as np
cap = cv2.VideoCapture("vtest.avi")
ret, frame1 = cap.read()
frame1_gray = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255
while(1):
    ret, frame2 = cap.read()
    if ret:
        frame2_gray = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)
        flow = cv2.calcOpticalFlowFarneback(frame1_gray, frame2_gray, None, 0.5, 3, 15, 3, 5, 1.2, 0)
        mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
        hsv[...,0] = ang*180/np.pi/2
        hsv[...,2] = cv2.normalize(mag, None, 0, 255, cv2.NORM_MINMAX)
        bgr = cv2.cvtColor(hsv, cv2.COLOR_HSV2BGR)
        cv2.imshow('frame2', bgr)
        k = cv2.waitKey(30) & 0xff
        if k == 27:
        	cv2.destroyAllWindows()
            break
        elif k == ord('s'):
            cv2.imwrite('opticalfb.png',frame2)
            cv2.imwrite('opticalhsv.png',bgr)
        frame1_gray = frame2_gray
    else:
        cv2.destroyAllWindows()
        break

附加资源

• docs.opencv.org/4.1.2/d4/de…
• cv2.calcOpticalFlowPyrLK()
• cv.calcOpticalFlowFarneback()
• en.wikipedia.org/wiki/Optica…