在处理数据的时候,经常会涉及到标准化问题。

数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间。在某些比较和评价的指标处理中经常会用到,去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。

一、数据标准化分类

1. 极差的标准化

一批样本中,每个特征的最大值与最小值之差,称为极差

已知两个样本,每个样本有n个特征:

数据的标准化(normalization)-LMLPHP

极差/全距的计算:

数据的标准化(normalization)-LMLPHP

极差标准化计算:

数据的标准化(normalization)-LMLPHP

2. 方差标准化

计算公式:

数据的标准化(normalization)-LMLPHP

其中,Si为样本方差

标准化的方法很多,原始数据是否应该标准化,应采用什么方法标准化,都要根据具体情况来定。

二、标准化有哪些方法?

2.1 规范化方法

规范化方法也叫也叫离差标准化,是对原始数据的线性变换,使结果映射到[0,1]区间。

数据的标准化(normalization)-LMLPHP

2.2 正规化方法

数据的标准化(normalization)-LMLPHP

  • 这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。将A的原始值x使用z-score标准化到x’。
  • z-score标准化方法适用于属性A的最大值和最小值未知的情况,或有超出取值范围的离群数据的情况。
  • spss默认的标准化方法就是z-score标准化。
  • 用Excel进行z-score标准化的方法:在Excel中没有现成的函数,需要自己分步计算,其实标准化的公式很简单。

步骤如下:
1.求出各变量(指标)的算术平均值(数学期望)xi和标准差si ;
2.进行标准化处理:zij=(xij-xi)/si
其中:zij为标准化后的变量值;xij为实际变量值。
3.将逆指标前的正负号对调。
标准化后的变量值围绕0上下波动,大于0说明高于平均水平,小于0说明低于平均水平。

2.3 归一化方法

数据的标准化(normalization)-LMLPHP

其中,归一化算法有:

  • 线性转换:y=(x-MinValue) / (MaxValue-MinValue)
  • 对数函数转换:y=log10(x)
  • 反余切函数转换:y=atan(x)*2/PI
  • 线性也与对数函数结合

整理不易,打赏请扫二维码,感谢您的支持!

数据的标准化(normalization)-LMLPHP

 

10-07 17:05