图像处理实战--Opencv实现人像迁移-LMLPHP

一、实验要求

利用Python和Opencv算法,实现下述功能:

  • 从网上下载一张纯色背景前的老人面部照片,并且要求背景颜色与皮肤、衣服的颜色区别较大。
  • 准备一张风景图片。
  • 利用图像增强算法处理人像照片,以提升照片的品质。
  • 利用图像处理算法去除老人面部的皱纹或色斑,实现美颜功能。
  • 利用图像处理算法处理风景图片,使风景图片变得模糊,实现背景虚化。
  • 利用图像处理算法将步骤4得到的人像图像进行二值化处理,人像部分为0,背景部分为1。
  • 利用步骤6得到的二值图像将步骤5得到的风景图像中用于合成人像区域的像素置为黑色后,与步骤4得到的人像图像进行合成,实现人像迁移。

撰写实验报告,将上述处理的原理与处理流程进行介绍;保存上述每一步的结果图像,并附加在实验报告中;最终对处理结果进行分析,并附加程序

二、实验环境

解释器:Python3.9、开发环境:PyCharm

三、实验原理及操作

1.照片准备

老人照片(上)、风景照片(下)
图像处理实战--Opencv实现人像迁移-LMLPHP

2.图像增强

图像增强使用自适应直方图均衡化操作。
因为原始图像为RGB彩色图像,直接使用直方图均衡化操作后会使颜色失真,故先将原始图像转化到HSI空间,对其中I通道(亮度)进行直方图均衡化,再转回RGB空间,这就实现了彩色图像的直方图均衡化,图像的亮度直方图会分布的更加均衡。如果在 RGB 彩色空间内完成直方图均衡化的,虽然的确有将原图中的阴暗部分变得明亮起来,但是颜色的失真也是比较严重的。在均衡化过程中不仅改变了亮度,也改变了彩色,产生了不正确的彩色。
在 HSI 彩色空间均衡化方法得到的结果图像效果是比较好的,整个图像都有效的加亮了,而彩色本身(色调)是不变的。这里使用的是自适应直方图均衡化,能够降低图像的全局依赖性,更多的保留图像的局部特征。

3.实现美颜功能

磨皮算法的功能就是消除脸部的斑点、瑕疵或者杂色,使得人物脸部更加细腻,轮廓更加清晰。 在实际的人脸磨皮中,一般还包含不同程度的预处理。我们使用传统的方法先对人脸中的脸部皮肤区域进行提取。基于皮肤的颜色特性,我们将图像转换到HSV色域,然后对逐像素点阈值判断,分离出了人脸面部皮肤像素点集合。在代码运行中,我们先对整张图片进行了双边滤波,然后将双边滤波结果和原图片输入原函数,使用皮肤像素点判断的方法,将原图中皮肤的像素替换成了对应的双边滤波后的像素。使用双边滤波,能够使滤波算法在处理人脸皮肤时,不对其它器官,如嘴唇,眼睛,眉毛等造成影响,同时不会干扰到背景。
注意滑动窗口的大小和双边方差的参数不宜设置的过大,否则会造成磨皮效果模糊或者过于磨皮。 同时设置过小,磨皮效果不明显,我们使用的是参数是:15*3,这样可以很好的实现我们想要的效果。

4.背景虚化

利用图像处理算法中的均值滤波处理风景图片,使风景图片变得模糊,实现背景虚化。然后再利用cv2.resize方法将风景图片尺寸调整为与人像图片一致,便于之后进行人像迁移。

5.图像二值化处理

获取纯色背景的RGB值,遍历整张图片,颜色接近背景颜色的像素点置为1,其余部分置为0。
同时我也想到了第二种方法,就是额外准备一张没有人像的纯色背景的图片,将原始图片与背景图片做减法并取绝对值,背景部分两张图片RGB值相似相减后趋近于0,其余部分不为0。这里注意的是由于设备原因,使用手机拍摄的背景图会因人像的离开而自动补光改变亮度,故在这里额外使用了亮度增强算法,将转化为HSI空间的背景图I通道乘系数1.25,再转回RGB空间,实现亮度补足。相减后将近似于0的像素点置为1,其余部分置为0,实现图片二值化操作。

6.人像迁移

首先将上述二值化图片进行中值滤波处理,去除一些可能存在的噪声点(黑色区域中的白色点或白色区域中的黑色点),然后进行腐蚀操作,去毛刺儿,腐蚀边界,一定的腐蚀膨胀操作使人像更加贴合。将二值化图片中人像部分置为1,其余部分置为0,与原始图片相乘后即可得到背景为黑色,人像部分正常的图片。
将虚化后的风景图片与人像部分为0、背景部分为1的二值图相乘,即可得到人像区域置为黑色的风景图。再将该图与上一步得到的背景为黑、人像不变的图片相加,即可得到人像迁移后的图片。

四、实验结果

1.原图、空间直方图均衡化后图像

图1 原图(左)、I空间直方图均衡化后图像(右)对比图
图像处理实战--Opencv实现人像迁移-LMLPHP

2.美颜后的人物图像与更改后的风景图像

图2、图3美颜后的人物图像(左)与更改尺寸并虚化后的风景图像(右)

3.人像二值图

图4、图5 经过图像处理的人像二值图
图像处理实战--Opencv实现人像迁移-LMLPHP

4.人像迁移图

图6、图7 人像部分为黑风景图(左)与人像迁移图(右)
图像处理实战--Opencv实现人像迁移-LMLPHP

五、结果分析

对亮度空间进行直方图均衡化操作后,人脸部分亮度明显增强,一些特征更加清晰可辨,说明图像增强效果良好。人像图片的二值化处理,但相较于法二,法一只能够对单一纯色背景进行操作,若背景中有噪声点(如白墙上的黑色污渍等)效果就会变差。但对于本次实验而言,我们采用的是方法一,因为我们的背景完全是白色,我们便可以十分准确地得到我们想要的效果。人像迁移的过程中可能存在白边,这时使用腐蚀膨胀操作将人像收缩,可实现消除白边的操作。最后人像迁移效果良好。

六、附录代码

# @Time : 2022/10/31 16:18
# @Author : 是Dream呀
# @File : 图像增强与合成.py
import cv2
import numpy as np

# 图片展示函数
def show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()


# 1.自适应直方图均衡化进行图像增强
def hist(image):
    img = image.copy()
    # 先转换到 HSI 色彩空间,再将处理后的结果转换到 RGB 色彩空间。
    img = cv2.cvtColor(img, cv2.COLOR_BGR2HLS)
    I = img[:, :, 1]
    clahe = cv2.createCLAHE(clipLimit=1)  # 自适应直方图均衡化
    img[:, :, 1] = clahe.apply(img[:, :, 1])  # 将cv2.createCLAHE()应用到每个通道上。
    show('Equalization', np.hstack((I, img[:, :, 1])))
    img = cv2.cvtColor(img, cv2.COLOR_HLS2BGR)
    return img

IMG = cv2.imread('1.png')
IMG = cv2.resize(IMG, (422,496))
show('Original image', IMG)
IMG_new = hist(IMG)  # 自适应直方图均衡化进行图像增强
show('Contrast', np.hstack((IMG, IMG_new)))
cv2.imwrite('img1.jpg', np.hstack((IMG, IMG_new)))

# 2.图像美化
# 双边滤波
dst = cv2.bilateralFilter(IMG_new, 15, 35, 35)
show('Beauty', dst)
cv2.imwrite('img2.jpg', dst)

# 3.利用图像处理算法处理风景图片,使风景图片变得模糊,实现背景虚化
test = cv2.imread('2.png')
test = cv2.blur(test, (9, 9))  # 使用均值滤波处理
test = cv2.resize(test, (422,496))  # 将风景图片尺寸调整为与人像图片一致
show('Falsification', test)
cv2.imwrite('img3.jpg', test)

# 4.对图像进行二值化处理
img = IMG.copy()
print(len(img))
print(len(img[0]))
print(len(img[1]))
for i in range(len(img)):  # 获取纯色背景的RGB值,遍历整张图片
    for j in range(len(img[1])):
        if 255 == IMG[i][j][0] and 255 == IMG[i][j][1] and 255 == IMG[i][j][2]:  # 颜色接近背景颜色的像素点置为1,其余部分置为0
            img[i][j] = 255
        else:
            img[i][j] = 0

# 5.人像迁移
# 中值滤波处理
img = cv2.medianBlur(img, 3)
# 先进行腐蚀操作,再做膨胀操作
kernel = np.ones((3, 3), np.uint8)  # 腐蚀操作,去毛刺儿,腐蚀边界
img = cv2.dilate(img, kernel, iterations=1)
show('Handle', img)
cv2.imwrite('img4.jpg', img)

img_t = np.where(img == 0, 1, 0)  # 人像部分置为1,其余部分置为0
img = np.uint8(img_t * IMG_new)  # 与原始图片相乘
show('Opposite Handle', img)
cv2.imwrite('img5.jpg', img)  # 背景为黑、人像不变的图片

# 像素值0和1交换 等价于img_t = np.where(img_t == 0, 1, 0)
img_t = np.where(img_t == 1, 2, img_t)
img_t = np.where(img_t == 0, 1, img_t)
img_t = np.where(img_t == 2, 0, img_t)
test = np.uint8(test * img_t)  # 得到人像区域置为黑色的风景图
show('Processed landscape map',test)
cv2.imwrite('img6.jpg',test)

# 相加得到迁移后的图像
test = test + img
show('Transfer', test)
cv2.imwrite('img7.jpg', test)

七、实验报告

这里是完整的实验报告–图像处理实战–Opencv实现人像迁移完整实验报告,需要的同学自行取走~

源工程文件

关注此公众号:人生苦短我用Pythons,回复 数字图像处理获取源码,快点击我吧

🌲🌲🌲 好啦,这就是今天要分享给大家的全部内容了,我们下期再见!
❤️❤️❤️如果你喜欢的话,就不要吝惜你的一键三连了~
图像处理实战--Opencv实现人像迁移-LMLPHP
图像处理实战--Opencv实现人像迁移-LMLPHP

最后,有任何问题,欢迎关注下面的公众号,获取第一时间消息、作者联系方式及每周抽奖等多重好礼! ↓↓↓

02-28 19:29