【三维重建】【深度学习】NeRF图像质量的客观评估指标:PSNR和SSIM
PSNR(峰值信噪比)
峰值信噪比(Peak Signal to Noise Ratio, PSNR)是一种衡量图像质量的度量标准。因为PSNR值具有局限性，所以它只是衡量最大值信号和背景噪音之间的图像质量参考值。
PSNR是基于MSE(MeanSquare Error，均方误差)定义的，其中，MSE定义为：
M S E = 1 H × W ∑ i = 1 H ∑ j = 1 W ( X ( i , j ) − Y ( i , j ) ) 2 MSE = \frac{1}{{H \times W}}\sum\nolimits_{i = 1}^H {\sum\nolimits_{j = 1}^W {{{\left( {X\left( {i,j} \right) - Y\left( {i,j} \right)} \right)}^2}} } MSE=H×W1∑i=1H∑j=1W(X(i,j)−Y(i,j))2
PSNR定义为：
P S N R = 10 log 10 ( M A X x 2 M S E ) = 10 log 10 ( ( 2 n − 1 ) 2 M S E ) PSNR = 10{\log _{10}}\left( {\frac{{MAX_x^2}}{{MSE}}} \right) = 10{\log _{10}}\left( {\frac{{{{\left( {{2^n} - 1} \right)}^2}}}{{MSE}}} \right) PSNR=10log10(MSEMAXx2)=10log10(MSE(2n−1)2)
PSNR的单位是dB，MSE越小，则PSNR越大；PSNR越大，代表着图像质量越好。
SSIM(结构相似性指数)
结构相似性指数(structural similarity index，SSIM)是一种用于量化两幅图像间的结构相似性的指标。SSIM相对PSNR在评价图像质量上更符合人类的视觉特性。SSIM从亮度、对比度以及结构量化图像的属性。
1.用均值作为亮度的估计：
均值：
μ x = 1 N ∑ i = 1 N x i {\mu _{\rm{x}}} = \frac{1}{N}\sum\nolimits_{{\rm{i}} = 1}^N {{x_i}} μx=N1∑i=1Nxi
亮度：
l ( X , Y ) = 2 μ x μ y + c 1 μ x 2 + μ y 2 + c 1 l\left( {X,Y} \right) = \frac{{2{\mu _{\rm{x}}}{\mu _y} + {c_1}}}{{\mu _x^2 + \mu _y^2 + {c_1}}} l(X,Y)=μx2+μy2+c12μxμy+c1
2.标准差作为对比度的估计：
标准差：
σ x = ( 1 N − 1 ∑ i = 1 N ( x i − μ i ) 2 ) 1 2 {\sigma _x} = {\left( {\frac{1}{{N - 1}}{{\sum\nolimits_{{\rm{i}} = 1}^N {\left( {{x_i} - {\mu _i}} \right)} }^2}} \right)^{\frac{1}{2}}} σx=(N−11∑i=1N(xi−μi)2)21
对比度：
c ( X , Y ) = 2 σ x σ y + c 2 σ x 2 + σ y 2 + c 2 c\left( {X,Y} \right) = \frac{{2{\sigma _{\rm{x}}}{\sigma _y} + {c_2}}}{{\sigma _x^2 + \sigma _y^2 + {c_2}}} c(X,Y)=σx2+σy2+c22σxσy+c2
3.协方差作为结构相似程度的度量：
协方差：
σ x y = 1 N − 1 ∑ i = 1 N ( x i − μ i x ) ( y i − μ i y ) {\sigma _{xy}} = \frac{1}{{N - 1}}\sum\nolimits_{{\rm{i}} = 1}^N {\left( {{x_i} - \mu _i^x} \right)} \left( {{y_i} - \mu _i^y} \right) σxy=N−11∑i=1N(xi−μix)(yi−μiy)
结构相似程度：
s ( X , Y ) = σ x y + c 3 σ x σ y + c 3 s\left( {X,Y} \right) = \frac{{{\sigma _{xy}} + {c_3}}}{{{\sigma _x}{\sigma _y} + {c_3}}} s(X,Y)=σxσy+c3σxy+c3
4.SSIM定义为：
S S I M ( X , Y ) = [ l ( X , Y ) α c ( X , Y ) β s ( X , Y ) γ ] SSIM\left( {X,Y} \right) = \left[ {l{{\left( {X,Y} \right)}^\alpha }c{{\left( {X,Y} \right)}^\beta }s{{\left( {X,Y} \right)}^\gamma }} \right] SSIM(X,Y)=[l(X,Y)αc(X,Y)βs(X,Y)γ]
当α、β和γ均为1则：
S S I M ( X , Y ) = ( 2 μ x μ y + c 1 ) ( 2 σ x y + c 2 ) ( μ x 2 + μ y 2 + c 1 ) ( σ x 2 + σ y 2 + c 2 ) SSIM\left( {X,Y} \right) = \frac{{\left( {2{\mu _{\rm{x}}}{\mu _y} + {c_1}} \right)\left( {2{\sigma _{xy}} + {c_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {c_1}} \right)\left( {\sigma _x^2 + \sigma _y^2 + {c_2}} \right)}} SSIM(X,Y)=(μx2+μy2+c1)(σx2+σy2+c2)(2μxμy+c1)(2σxy+c2)
SSIM值的范围为0至1，越大代表图像越相似。
总结
尽可能简单、详细的介绍PSNR和SSIM评估指标的原理。