目录
数据预处理(无量纲化)
数据归一化
数据标准化
下一期讲一讲特征工程
关注我【生物海洋计算机支线】,获得更多生物海洋学,数据处理,作图等相关知识
铁甲将军夜渡关
朝臣带漏五更寒
山寺日高僧未起
看来名利不如闲啪!(醒木的声音)
一周没有更新了【吃瓜】
因为了小小的科(摸)研(鱼)任务
忙
都忙
忙点好啊(主要是早上不起床)
我们在进行数据分析时,有一个非常重要的前期操作--数据预处理
在学习机器学习算法时,为了更好的理解算法的基本思想
会用到处理过的很干净的数据集
而真实的数据中,多种多样的数据类型、输入的错误、数据的质量等等原因
都可能导致无法匹配模型需求
这时候就需要进行数据预处理工作
数据预处理(无量纲化)
把不同规格的数据转为到统一规格就是无量纲化
比如我们判断环境参数对浮游植物的影响
22.9°的温度显然比0.044μmol/L的磷浓度有更大取值范围
这会放大温度的影响效果
数据归一化
将数据收敛到[0,1]之间该过程就是数据归一化
可以使用sklearn中preprocessing.MinMaxScaler来实现这个功能
归一化后的数据服从正态分布
from sklearn.preprocessing import MinMaxScalerdef mm():"""归一化处理"""# 实例化MinMaxScaler函数,不填写feature_range参数默认为0,1mm = MinMaxScaler(feature_range=(2, 3))data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])print(data)return Noneif __name__ == "__main__":mm()
数据标准化
标准化后的数据服从均值为0方差为1的正态分布
from sklearn.preprocessing import StandardScaler# x' = x-mean/γ mean:平均值 γ:标准差# 方差 = (x1-mean)²+(x2-mean)²+(xn-mean)² / n标准差 = 方差开根号# 优点,不易受异常数据印象# 一个目标变量由多个特征变量影响,当一个特征变量很大时,影响程度更大,所以我们进行标准化,消除这样的影响def stand():"""标准化缩放"""std = StandardScaler()pre_data = [[ 1000., -1., 3.],[ 2000., 4., 2.],[ 4000., 6., -1.]]data = std.fit_transform(pre_data)print((1000-2000))print(pre_data)print(data)return Noneif __name__ == "__main__":stand()
下一期讲一讲特征工程
关注我【生物海洋计算机支线】,获得更多生物海洋学,数据处理,作图等相关知识
如果觉得《数据分析 | 数据预处理(归一化和标准化)》对你有帮助,请点赞、收藏,并留下你的观点哦!