python+opencv之视频人脸识别 -

linkyou66

浏览: 227919 次
性别:
来自: 杭州

最近访客更多访客>>

hejianhua66

dagf113225

amadis_chen

南杰蓝枫

博主相关

博客

微博

相册

留言

关于我

文章分类

全部博客 (266)

社区版块

存档分类

python+opencv之视频人脸识别

<div class="dp-highlighter">
<div class="bar">
<div class="tools">Python代码
</div>
</div>
<ol class="dp-py">
<li>
import

sys



</li>
<li>
from

CVtypes

import

cv



</li>
<li>


</li>
<li>


</li>
<li>
def

detect(image):



</li>
<li>


</li>
<li>
image_size=cv.GetSize(image)

</li>
<li>


</li>
<li>
#creategrayscaleversion





</li>
<li>
grayscale=cv.CreateImage(image_size,8

,

1

)



</li>
<li>


</li>
<li>
cv.CvtColor(image,grayscale,cv.BGR2GRAY)

</li>
<li>


</li>
<li>
#createstorage





</li>
<li>
storage=cv.CreateMemStorage(0

)



</li>
<li>


</li>
<li>
cv.ClearMemStorage(storage)

</li>
<li>


</li>
<li>
#equalizehistogram





</li>
<li>
cv.EqualizeHist(grayscale,grayscale)

</li>
<li>


</li>
<li>
#detectobjects





</li>
<li>
cascade=cv.LoadHaarClassifierCascade('haarcascade_frontalface_alt.xml'

,cv.Size(

1

,

1

))



</li>
<li>


</li>
<li>
faces=cv.HaarDetectObjects(grayscale,cascade,storage,1.2

,

2

,cv.HAAR_DO_CANNY_PRUNING,cv.Size(

350

,

350

))



</li>
<li>
print

faces



</li>
<li>


</li>
<li>
if

faces:



</li>
<li>
print



'facedetected!'





</li>
<li>
for

i

in

faces:



</li>
<li>
cv.Rectangle(image,cv.Point(int(i.x),int(i.y)),

</li>
<li>
cv.Point(int(i.x+i.width),int(i.y+i.height)),

</li>
<li>
cv.RGB(0

,

255

,

0

),

3

,

8

,

0

)



</li>
<li>


</li>
<li>
if

__name__==

"__main__"

:



</li>
<li>
print



"OpenCVversion:%s(%d,%d,%d)"

%(cv.VERSION,



</li>
<li>
cv.MAJOR_VERSION,

</li>
<li>
cv.MINOR_VERSION,

</li>
<li>
cv.SUBMINOR_VERSION)

</li>
<li>


</li>
<li>
print



"PressESCtoexit..."





</li>
<li>


</li>
<li>
#createwindows





</li>
<li>
cv.NamedWindow('Camera'

,cv.WINDOW_AUTOSIZE)



</li>
<li>


</li>
<li>


</li>
<li>
#createcapturedevice





</li>
<li>
device=0



#assumewewantfirstdevice





</li>
<li>
capture=cv.CreateCameraCapture(-1

)



</li>
<li>


</li>
<li>
cv.SetCaptureProperty(capture,cv.CAP_PROP_FRAME_WIDTH,640

)



</li>
<li>
cv.SetCaptureProperty(capture,cv.CAP_PROP_FRAME_HEIGHT,480

)



</li>
<li>


</li>
<li>
#checkifcapturedeviceisOK





</li>
<li>
if



not

capture:



</li>
<li>
print



"Erroropeningcapturedevice"





</li>
<li>
sys.exit(1

)



</li>
<li>


</li>
<li>


</li>
<li>


</li>
<li>


</li>
<li>
while



1

:



</li>
<li>
#doforever





</li>
<li>


</li>
<li>
#capturethecurrentframe





</li>
<li>
frame=cv.QueryFrame(capture)

</li>
<li>
if

frame

is



None

:



</li>
<li>
break





</li>
<li>


</li>
<li>
#mirror





</li>
<li>
cv.Flip(frame,None

,

1

)



</li>
<li>


</li>
<li>
#facedetection





</li>
<li>
detect(frame)

</li>
<li>


</li>
<li>
#displaywebcamimage





</li>
<li>
cv.ShowImage('Camera'

,frame)



</li>
<li>


</li>
<li>
#handleevents





</li>
<li>
k=cv.WaitKey(10

)



</li>
<li>


</li>
<li>
if

k==

0x1b

:

#ESC





</li>
<li>
print



'ESCpressed.Exiting...'





</li>
<li>
break





</li>
</ol>
</div>
<pre class="python" style="display: none;">import sys
from CVtypes import cv

def detect(image):

 image_size = cv.GetSize(image)

 # create grayscale version
 grayscale = cv.CreateImage(image_size, 8, 1)

 cv.CvtColor(image, grayscale, cv.BGR2GRAY)

 # create storage
 storage = cv.CreateMemStorage(0)

 cv.ClearMemStorage(storage)

 # equalize histogram
 cv.EqualizeHist(grayscale, grayscale)

 # detect objects
 cascade = cv.LoadHaarClassifierCascade('haarcascade_frontalface_alt.xml', cv.Size(1,1))

 faces = cv.HaarDetectObjects(grayscale, cascade, storage, 1.2, 2, cv.HAAR_DO_CANNY_PRUNING, cv.Size(350, 350))
 print faces

 if faces:
 print 'face detected!'
 for i in faces:
 cv.Rectangle(image, cv.Point( int(i.x), int(i.y)),
 cv.Point(int(i.x + i.width), int(i.y + i.height)),
 cv.RGB(0, 255, 0), 3, 8, 0)

if __name__ == "__main__":
 print "OpenCV version: %s (%d, %d, %d)" % (cv.VERSION,
 cv.MAJOR_VERSION,
 cv.MINOR_VERSION,
 cv.SUBMINOR_VERSION)

 print "Press ESC to exit ..."

 # create windows
 cv.NamedWindow('Camera', cv.WINDOW_AUTOSIZE)

 # create capture device
 device = 0 # assume we want first device
 capture = cv.CreateCameraCapture(-1)

 cv.SetCaptureProperty(capture, cv.CAP_PROP_FRAME_WIDTH, 640)
 cv.SetCaptureProperty(capture, cv.CAP_PROP_FRAME_HEIGHT, 480)

 # check if capture device is OK
 if not capture:
 print "Error opening capture device"
 sys.exit(1)



 while 1:
 # do forever

 # capture the current frame
 frame = cv.QueryFrame(capture)
 if frame is None:
 break

 # mirror
 cv.Flip(frame, None, 1)

 # face detection
 detect(frame)

 # display webcam image
 cv.ShowImage('Camera', frame)

 # handle events
 k = cv.WaitKey(10)

 if k == 0x1b: # ESC
 print 'ESC pressed. Exiting ...'
 break</pre>

#需要下载<a href="http://sourceforge.net/project/showfiles.php?group_id=82407&package_id=232299&release_id=509128">CVtypes.py</a>

及<a href="http://eclecti.cc/files/2008/03/haarcascade_frontalface_alt.xml">haarcascade_frontalface_alt.xml</a>



前言 

关于opencv 

OpenCV 是 Intel 开源计算机视觉库 (Computer Version) 。它由一系列 C 函数和少量 C++ 类构成，实现了图像处理和计算机视觉方面的很多通用算法。 

OpenCV 拥有包括 300 多个 C 函数的跨平台的中、高层 API 。它不依赖于其它的外部库 —— 尽管也可以使用某些外部库。 OpenCV 对非商业应用和商业应用都是免费的。同时 OpenCV 提供了对硬件的访问，可以直接访问摄像头，并且 opencv 还提供了一个简单的 GUI(graphics user interface) 系统 :highgui 。我们就通过 OpenCV 提供的一些方法来构造出这个人脸检测（ face detection ）程序来。 

opencv的python包装 

OpenCV 本身是有 C/C++ 编写的，如果要在其他语言中使用，我们可以通过对其动态链接库文件进行包装即可，幸运的是， Python 下有很多个这样的包装，本文中使用的是 Cvtypes 。 

事实上，在 Python 中很多的包都是来自第三方的，比如 PIL(Python Image Library) 即为 C 语言实现的一个图形处理包，被包装到了 Python 中，这些包装可以让你像使用 Python 的内建函数一样的使用这些 API 。 

人脸检测原理 

人脸检测属于目标检测(object detection) 的一部分，主要涉及两个方面 

先对要检测的目标对象进行概率统计，从而知道待检测对象的一些特征，建立起目标检测模型。 

用得到的模型来匹配输入的图像，如果有匹配则输出匹配的区域，否则什么也不做。 

计算机视觉 

计算机的视觉系统，跟人的眼睛是大不相同的，但是其中也有类似之处。人眼之能够看到物体，是通过物体上反射出来的光线刺激人眼的感光细胞，然后视觉神经在大脑中形成物体的像。计算机通过摄像头看到的东西要简单的多，简单来说，就是一堆由数字组成的矩阵。这些数字表明了物体发出的光的强弱，摄像头的光敏元件将光信号转化成数字信号，将其量化为矩阵。 

如何从这些数字中得出:"这是一个人脸"的结论，是一个比较复杂的事情。物理世界是彩色的，一般来说，计算机中的彩色图片都是由若干个色彩通道累积出来的，比如RGB模式的图片，有红色通道(Red)，绿色通道(Green)和蓝色通道 (Blue),这三个通道都是灰度图，比如一个点由8位来表示，则一个通道可以表示2^8=256个灰度。那样三个通道进行叠加以后可以表3*8=24位种色彩，也就是我们常说的24位真彩。 

对这样的图片做处理，无疑是一件很复杂的事，所以有必要先将彩色图转为灰度图，那样可以减少数据量 (比如RGB模式，可以减少到原图片的1/3)，同时可以去掉一些噪声信号。先将图片转化为灰度图，然后将这个灰度图的对比度增高，这样可以使得图片本来暗的地方更暗，亮的地方更亮一些。这样处理以后，图片就更容易被算法设别出来了。 

Harr特征级联表 

OpenCV在物体检测上使用的是haar特征的级联表，这个级联表中包含的是boost的分类器。首先，人们采用样本的haar特征进行分类器的训练，从而得到一个级联的boost分类器。训练的方式包含两方面： 

1. 正例样本，即待检测目标样本 

2. 反例样本，其他任意的图片 

首先将这些图片统一成相同的尺寸，这个过程被称为归一化，然后进行统计。一旦分类器建立完成，就可以用来检测输入图片中的感兴趣区域的检测了，一般来说，输入的图片会大于样本，那样，需要移动搜索窗口，为了检索出不同大小的目标，分类器可以按比例的改变自己的尺寸，这样可能要对输入图片进行多次的扫描。 

什么是级联的分类器呢？级联分类器是由若干个简单分类器级联成的一个大的分类器，被检测的窗口依次通过每一个分类器，可以通过所有分类器的窗口即可判定为目标区域。同时，为了考虑效率问题，可以将最严格的分类器放在整个级联分类器的最顶端，那样可以减少匹配次数。 

基础分类器以haar特征为输入，以 0/1为输出，0表示未匹配，1表示匹配。 

Haar特征 

在扫描待检测图片的时候，以边界特征中的(a)为例，正如前面提到的那样，计算机中的图片是一个数字组成的矩阵，程序先计算整个窗口中的灰度值x，然后计算矩形框中的黑色灰度值y，然后计算(x-2y)的值，得到的数值与x做比较，如果这个比值在某一个范围内，则表示待检测图片的当前扫描区域符合边界特征(a)，然后继续扫描。 

关于这个算法的更详细描述已经超出了本文的范围，可以在参考资源中获得更多的信息。 

非固定大小目标检测 

因为是基于视频流的目标检测，我们事先不太可能知道要检测的目标的大小，这就要求我们的级联表中的分类器具有按比例增大(或者缩小)的能力，这样，当小的窗口移动完整个待检测图片没有发现目标时，我们可以调整分类器的大小，然后继续检测，直到检测到目标或者窗口与待检测图片的大小相当为止。 

步骤一：图片预处理 

在从摄像头中获得一个帧(一张图片)后，我们需要先对这张图片进行一些预处理： 

将图片从RGB模式转为灰度图将灰度图 

进行灰度图直方图均衡化操作 

这两个步骤在OpenCV中是非常简单的： 

image_size = cv.cvGetSize(image)#获取原始图像尺寸 

grayscale = cv.cvCreateImage(image_size, 8, 1)# 建立一个空的灰度图 

cv.cvCvtColor(image, grayscale, cv.CV_BGR2GRAY)#转换 

storage = cv.cvCreateMemStorage(0)#新建一块存储区，以备后用 

cv.cvClearMemStorage(storage) 

cv.cvEqualizeHist(grayscale, grayscale)# 灰度图直方图均衡化 

image_size = cv.cvGetSize(image)#获取原始图像尺寸 

grayscale = cv.cvCreateImage(image_size, 8, 1)# 建立一个空的灰度图 

cv.cvCvtColor(image, grayscale, cv.CV_BGR2GRAY)#转换 

storage = cv.cvCreateMemStorage(0)#新建一块存储区，以备后用 

cv.cvClearMemStorage(storage) 

cv.cvEqualizeHist(grayscale, grayscale)# 灰度图直方图均衡化 

步骤二：检测并标记目标 

OpenCV中，对于人脸检测的模型已经建立为一个XML文件，其中包含了上面提到的harr特征的分类器的训练结果，我们可以通过加载这个文件而省略掉自己建立级联表的过程。有了级联表，我们只需要将待检测图片和级联表一同传递给OpenCV的目标检测算法即可得到一个检测到的人脸的集合。 

# detect objects 

cascade = cv.cvLoadHaarClassifierCascade('haarcascade_frontalface_alt.xml', 

cv.cvSize(1,1)) 

faces = cv.cvHaarDetectObjects(grayscale, cascade, storage, 1.2, 2, 

cv.CV_HAAR_DO_CANNY_PRUNING, 

cv.cvSize(50, 50))#设置最小的人脸为50*50像素 

if faces: 

print 'face detected here', cv.cvGetSize(grayscale) 

for i in faces: 

cv.cvRectangle(image, cv.cvPoint( int(i.x), int(i.y)), 

cv.cvPoint(int(i.x + i.width), int(i.y + i.height)), 

cv.CV_RGB(0, 255, 0), 1, 8, 0)#画一个绿色的矩形框 

# detect objects 

cascade = cv.cvLoadHaarClassifierCascade('haarcascade_frontalface_alt.xml', 

cv.cvSize(1,1)) 

faces = cv.cvHaarDetectObjects(grayscale, cascade, storage, 1.2, 2, 

cv.CV_HAAR_DO_CANNY_PRUNING, 

cv.cvSize(50, 50))#设置最小的人脸为50*50像素 

if faces: 

print 'face detected here', cv.cvGetSize(grayscale) 

for i in faces: 

cv.cvRectangle(image, cv.cvPoint( int(i.x), int(i.y)), 

cv.cvPoint(int(i.x + i.width), int(i.y + i.height)), 

cv.CV_RGB(0, 255, 0), 1, 8, 0)#画一个绿色的矩形框 

步骤三：用highgui画出视频窗口 

highgui.cvNamedWindow ('camera', highgui.CV_WINDOW_AUTOSIZE) 

highgui.cvMoveWindow ('camera', 50, 50) 

highgui.cvShowImage('camera', detimg) 

highgui.cvNamedWindow ('camera', highgui.CV_WINDOW_AUTOSIZE) 

highgui.cvMoveWindow ('camera', 50, 50) 

highgui.cvShowImage('camera', detimg) 

由于视频流是动态的，所以我们可以在程序的入口中使用一个无限循环，在循环中，每次从视频中读入一个帧，将这个帧传输给人脸检测模块，检测模块在这个帧上进行标记(如果有人脸的话)，然后返回这个帧，主程序拿到这个帧后，更新显示窗口。 

opencv的其他特性 

拉普拉斯边缘检测 

def laplaceTransform(image): 

laplace = None 

colorlaplace = None 

planes = [None, None, None] 

image_size = cv.cvGetSize(image) 

if not laplace: 

for i in range(len(planes)): 

planes[i] = cv.cvCreateImage(image_size, 8, 1) 

laplace = cv.cvCreateImage(image_size, cv.IPL_DEPTH_16S, 1) 

colorlaplace = cv.cvCreateImage(image_size, 8, 3) 

cv.cvSplit(image, planes[0], planes[1], planes[2], None) 

for plane in planes: 

cv.cvLaplace(plane, laplace, 3) 

cv.cvConvertScaleAbs(laplace, plane, 1, 0) 

cv.cvMerge(planes[0], planes[1], planes[2], None, colorlaplace) 

colorlaplace.origin = image.origin 

return colorlaplace 

def laplaceTransform(image): 

laplace = None 

colorlaplace = None 

planes = [None, None, None] 

image_size = cv.cvGetSize(image) 

if not laplace: 

for i in range(len(planes)): 

planes[i] = cv.cvCreateImage(image_size, 8, 1) 

laplace = cv.cvCreateImage(image_size, cv.IPL_DEPTH_16S, 1) 

colorlaplace = cv.cvCreateImage(image_size, 8, 3) 

cv.cvSplit(image, planes[0], planes[1], planes[2], None) 

for plane in planes: 

cv.cvLaplace(plane, laplace, 3) 

cv.cvConvertScaleAbs(laplace, plane, 1, 0) 

cv.cvMerge(planes[0], planes[1], planes[2], None, colorlaplace) 

colorlaplace.origin = image.origin 

return colorlaplace 

结束语 

OpenCV的功能十分强大，而且提供了大量的算法实现，文中涉及到的内容只是计算机视觉中很小的一部分。读者可以考虑将采集到的人脸进行标识，从而实现特定人的人脸识别。或者考虑将人脸检测移植到网络上，从而实现远程监控。试想一下，原来没有生命的机器，我们可以通过自己的思想，动作来使得它们看起来像是有思想一样，这件事本身就非常的有趣。 

出处 

http://www.360doc.com/content/10/0225/20/617416_16819007.shtml

分享到：