Python基于OpenCV的视频图像处理详解

import cv2
cap=cv2.VideoCapture('D:\Image\Funny.mp4')
while(cap.isOpened()):
    ret,frame=cap.read() #循环播放视频中每帧图像
    gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) #将原帧图像转化为灰度图像
    cv2.imshow('视频捕捉',gray) #显示处理后的图像
    if cv2.waitKey(1) & 0xFF==ord('q'): #按q键退出程序
        break
cap.release() #处理完成，释放视频捕捉
cv2.destroyAllWindows() #关闭窗口释放资源

#摄像头获取视频
import cv2
cap=cv2.VideoCapture(1) #打开摄像头获取视频
while(True):
    ret,frame=cap.read() #循环播放视频中每帧图像
    gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
    #显示结果
    cv2.imshow('摄像头拍照',gray)
    if cv2.waitKey(1) & 0xFF==ord('q'):
        break
cap.release()#处理完成，释放视频捕捉
cv2.destroyAllWindows()

#通过OpenCv获取视频并写入
import cv2
cap2=cv2.VideoCapture('D:\Image\Funny.mp4')
cap=cv2.VideoCapture(1)#打开摄像头并获取视频
#对视频帧率fps进行赋值
fps=24
#过去视频帧的大小
size=(int(cap2.get(cv2.CAP_PROP_FRAME_WIDTH)),int(cap2.get(cv2.CAP_PROP_FRAME_HEIGHT)))
fourcc=cv2.VideoWriter_fourcc('X','V','I','D')  #MP4文件格式
out=cv2.VideoWriter('D:\Image\output.avi',fourcc,fps,size)#定义视频文件写入对象
while(cap.isOpened()):
    ret,frame=cap.read()
    if ret==True:
        '''
        获取帧图像并翻转，cv2.flip()的第二个参数表示翻转方式：0代表垂直翻转，1代表水平翻转，-1代表水平垂直翻转
        '''
        frame=cv2.flip(frame,1)
        out.write(frame)#将翻转后的帧图像写入文件
        cv2.imshow('帧图像处理',frame)
        if cv2.waitKey(1) & 0xFF==ord('q'):
            break
    else:
        break
cap.release()
out.release()
cv2.destroyAllWindows()

#L-K算法
import numpy as np
import cv2
#设置L-K算法参数
lk_params=dict(winSize=(15,15), #搜索窗口的大小
                        maxLevel=2,#最大金字塔层数
                        #迭代算法终止条件（迭代次数或迭代阈值）
                        criteria=(cv2.TERM_CRITERIA_EPS|cv2.TERM_CRITERIA_COUNT,10,0.03))
feature_params=dict(maxCorners=500,   #设置最多返回的关键点（角点）数
                    qualityLevel=0.3,  #角点阈值：反映一个像素点对强才算一个角点
                    minDistance=7, #角点之间的最小像素点（欧氏距离）
                    blockSize=7) #计算一个像素点是否为关键点时所取区域的大小
class App:
    #构造方法，初始化一些参数和视频路径
    def __init__(self,video_src):
        self.track_len=10 #光流标记长度
        self.detect_interval=5#帧检测间隔
        #跟踪点几何初始化，self.tracks中值的格式时：（前一帧角点）
        self.tracks=[]
        self.cam=cv2.VideoCapture(video_src) #视频源
        self.frame_idx=0 #帧序列号初始化
    def run(self): #运行光流方法
        while True:
            ret,frame=self.cam.read()
            if ret ==True:
                frame_gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
                vis=frame.copy()
                #检测到角点后光流跟踪
                if len(self.tracks)>0:
                    img0,img1=self.prev_gray,frame_gray
                    p0=np.float32([tr[-1] for tr in self.tracks]).reshape(-1,1,2)
                    #将前一帧的角点和当前帧的图像作为输入的角点在当前帧的位置
                    p1,st,err=cv2.calcOpticalFlowPyrLK(img0,img1,p0,None,**lk_params)
                    #将当前帧跟踪到的角点以及图像和前一帧的图像作为输入得到前一帧的角点检测
                    p0r,st,err=cv2.calcOpticalFlowPyrLK(img1,img0,p1,None,**lk_params)
                    #得到角点回溯与前一帧实际角点的位置变化系
                    d=abs(p0-p0r).reshape(-1,2).max(-1)
                    good=d<1 #判断d的值是否小于1
                    new_tracks=[]
                    #将跟踪的点列为成功跟踪点
                    for tr,(x,y),good_flag in zip(self.tracks,p1.reshape(-1,2),good):
                        if not good_flag: continue
                        tr.append((x,y))
                        if (len(tr)>self.track_len): del tr[0]
                        new_tracks.append(tr)
                        cv2.circle(vis,(x,y),2,(0,255,0),-1)
                    self.tracks=new_tracks
                    #以前一帧角点为初始点，以当前帧跟踪到的点为终点划线，开始轨迹标记
                    cv2.polylines(vis,[np.int32(tr) for tr in self.tracks],False,(0,255,0))
                    #每五帧检测一次
                if (self.frame_idx % self.detect_interval==0):
                    mask=np.zeros_like(frame_gray)#初始化和视频尺寸大小相同的图像
                    mask[:]=255 #计算全部图像的角点
                    for x,y in [np.int32(tr[-1]) for tr in self.tracks]:
                        cv2.circle(mask,(x,y),5,0,-1)
            #利用goodFeaturesToTrack进行角点检测
                    p=cv2.goodFeaturesToTrack(frame_gray,mask=mask,**feature_params)
                    if p is not None:
                        for x,y in np.float32(p).reshape(-1,2): self.tracks.append([(x,y)]) #将检测到的角点放在预跟踪序列
                    self.frame_idx+=1
                    self.prev_gray=frame_gray
                    cv2.imshow('Lucas-Kanade光流算法',vis)
                    ch=0xFF & cv2.waitKey(1)
                    if ch==ord('q'):#按q键退出
                        break
def main():
    import sys    
    video_src='D:\Image\haha.mp4'    
    App(video_src).run() #运行主程序
    cv2.destroyAllWindows()
if __name__=='__main__':
    main() 

#基于稠密光流算法轨迹标记
from numpy import *
import cv2
#定义光流跟踪标记函数
def draw_flow(im,flow,step=16):
    h,w=im.shape[:2]
    y,x=mgrid[step/2:h:step,step/2:w:step].reshape(2,-1)
    fx,fy=flow[y.astype(int),x.astype(int)].T
    #创建标记线条端点
    lines=vstack([x,y,x+fx,y+fy]).T.reshape(-1,2,2)
    lines=int32(lines)
    #创建图像和进行线条标记
    vis=cv2.cvtColor(im,cv2.COLOR_GRAY2BGR)
    for (x1,y1),(x2,y2) in lines:
        cv2.line(vis,(x1,y1),(x2,y2),(0,255,0),1)
        cv2.circle(vis,(x1,y1),1,(0,255,0),-1)#画圆
    return vis
cap=cv2.VideoCapture(1)#开启摄像头
#读取视频帧
ret,im=cap.read()
#转化为灰度图像
prev_gray=cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)
while True:
    #读取视频帧
    ret,im=cap.read()
    #转换为灰度图像
    gray=cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)
    #光流计算
    flow=cv2.calcOpticalFlowFarneback(prev_gray,gray,None,0.5,3,15,3,5,1.2,0)
    prev_gray=gray
    #绘制光流轨迹
    cv2.imshow('稠密光流算法',draw_flow(gray,flow))
    if cv2.waitKey(1)&0xFF==ord('q'): #按q键结束
        break
im.release()
cv2.destroyAllWindows()

#利用帧间差分法进行目标检测
import time
import cv2
import argparse #用于解析参数
import datetime #用于时间和日期相关处理
import imutils #用于图像相关处理
import argparse
#创建参数解析器并解析参数
ap=argparse.ArgumentParser()
ap.add_argument('-v','--video',help='path to the video file')
ap.add_argument('-a','--min-area',type=int,default=500,help='minimum area size')
args=vars(ap.parse_args(args=[])) #这里有两种表达式，JUPYTER只能使用这种，表示默认参数,pycharme可以用另一种
#如果video参数为None，那么我们从摄像头读取数据
if args.get('video',None) is None:
        camera=cv2.VideoCapture(1)
        if camera is None:
            print("请检查摄像头连接")
            exit()
            time.sleep(0.25)
        else:
        #读取一个视频
            camera=cv2.VideoCapture('D:\Image\haha.mp4')
'''
初始化视频流的第一帧。一般情况下，视频第一帧不会包含运动而仅仅是背景
''' 
firstFrame=None
#遍历视频的每一帧
while True:
    '''
    获取当前视帧并初始化显示文本，调用camera.read()将返回一个二元组，元组的第一个值是True和False，表明是否成功从缓冲中读取帧图像，元组的第二个值就是获取的当前帧图像的值。
    '''
    (grabbed,frame)=camera.read()
    text='No Motion Detected'
    #如果不能获取到帧，说明到了视频的结尾
    if not grabbed:
        break
    frame=imutils.resize(frame,width=500) #调整帧图像大小
    gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) #转换为灰度图像
    gray=cv2.GaussianBlur(gray,(21,21),0)#高斯模糊处理
#如果第一帧是None，对其进行初始化
    if firstFrame is None:
        firstFrame=gray
        continue
#将当前帧和第一帧图像对应的像素点的灰度值相减并求绝对值来计算两帧的不同
    frameDelta=cv2.absdiff(firstFrame,gray)
#对差分图像进行阈值处理来显示图像中像素点的灰度值有所变化的区域
    thresh=cv2.threshold(frameDelta,25,255,cv2.THRESH_BINARY)[1]
#扩展阈值图像填充空洞，然后找到阈值图像中的轮廓
    thresh=cv2.dilate(thresh,None,iterations=2)
    '''
cv2.findContours()函数返回3个值，第一个是所处理的图像，第二个是轮廓，第三个是每个轮廓对应的属性
'''
    contours,hierrarchy=cv2.findContours(thresh.copy(),cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE) #老版返回3个接受参数，新版返回两个;
    #遍历轮廓
    for c in contours:
    #过滤小的，不相关的轮廓，如果轮廓面积大于min_area，则在前景和移动区域画边框
        if cv2.contourArea(c)

#运动方向检测
import cv2
import numpy as np
import queue  #导入库主要用于队列处理
camera=cv2.VideoCapture(1)
if camera is None:
    print('请检查摄像头链接')
    exit()
width=int(camera.get(3))
height=int(camera.get(4))
 
#参数初始化
firstFrame=None
lastDec=None
firstThresh=None
feature_params=dict(maxCorners=100, #设置最多返回的关键点数
                    qualityLevel=0.3, #角点阈值：响应最大值
                    minDistance=7, #角点之间最少像素点（欧氏距离）
                    blockSize=7) #计算一个像素点是否为关键点时所取区域
#Lucas-Kanade 光流算法参数设置
lk_params=dict(winSize=(15,15),#搜索窗口的大小
                maxLevel=2,#最大金字塔层数
                criteria=(cv2.TermCriteria_EPS|cv2.TERM_CRITERIA_COUNT,10,0.03))
color=np.random.randint(0,255,(100,3))
num=0
#队列初始化
q_x=queue.Queue(maxsize=10)
q_y=queue.Queue(maxsize=10)
while True:
    #获取视频帧并转化为灰度图像
    (grabbed,frame)=camera.read()
    gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
    gray=cv2.GaussianBlur(gray,(21,21),0)
    if firstFrame is None:
        firstFrame=gray
        continue
    frameDelta=cv2.absdiff(firstFrame,gray)
    #对图像进行阈值二值化
    thresh=cv2.threshold(frameDelta,25,255,cv2.THRESH_BINARY)[1]
 
    p0=cv2.goodFeaturesToTrack(thresh,mask=None,**feature_params)
    if p0 is not None:
        x_sum=0
        y_sum=0
        for i,old in enumerate(p0):
            x,y=old.ravel()
            x_sum+=x
            y_sum+=y
        x_avg=x_sum/len(p0)
        y_avg=y_sum/len(p0)
        if q_x.full():
            qx_list=list(q_x.queue)
            key=0
            diffx_sum=0
            for item_x in qx_list:
                key+=1
                if key<10:
                    diff_x=item_x-qx_list[key]
                    diffx_sum+=diff_x
                if diffx_sum<0 and x_avg<500:#表明队列在增加
                    print('Left')
                    cv2.putText(frame,'Left Motion Detected',(100,100),0,0.5,(0,0,255),2)
                else:
                     print("Right")
                     cv2.putText(frame,"Right Motion Detected",(300,100),0,0.5,(255,0,255),2)
            q_x.get()
            q_x.put(x_avg)
            cv2.putText(frame,str(x_avg),(300,100),0,0.5,(0,0,255),2)
            frame=cv2.circle(frame,(int(x_avg),int(y_avg)),5,color[i].tolist(),-1)
        cv2.imshow('运动方向检测',frame)
        firstFrame=gray.copy()
        key=cv2.waitKey(1)&0xFF
        if key==ord('q'):
            break
camera.release()
cv2.destroyAllWindows()