欢迎访问欧博亚洲(Allbet Game)!

首页科技正文

长治生活网:数据挖掘竞赛/项目全流程先容

admin2020-04-1943

【说在前面】本人博客新手一枚,象牙塔的老白,职业场的小白。以下内容仅为个人见解,迎接批评指正,不喜勿喷![握手][握手]

1. 数据预处置

1.1 选择数据样本(企业级应用)

  • 例如客观选择某一时间段内的所有样本聚集等(制止人为主观选择)
  • 例如在评价样本中去除恶意/随意评价样本等(制止错误样本的滋扰)

1.2 可视化特征漫衍

  • dataframe.info/dataframe.describe等(查看数据样本的整体漫衍情形)
  • dataframe.plot/matplotlib/seaborn等(包罗柱状图/散点图/折线图等)

1.3 缺失值处置

  • 若是某样本的缺失纪录占比较大:
    • 可统计为“缺失量”
    • 可直接删除该样本
  • 若是某特征的缺失纪录占比较大:
    • 可二值化为“有/无”
    • 可直接删除该样本
  • 若是某样本/特征的缺失纪录占比较小:
    • 可凭据领域知识补全
    • 数值型:可凭据均值/众数/模子展望等补全
    • 种别型:可以界说为新的种别等
  • 可不处置,有些模子对缺失值不敏感:例如树模子/神经网络等

1.4 异常值处置

  • 异常值判断:需凭据数据漫衍/营业场景等
    • RobustScaler/robust_scale等
    • 之后会推出异常值检测专题
  • 可直接删除该样本
  • 可接纳缺失值的处置方式
    • 注重数据不一致问题
    • 注重数值型可用盖帽/对数变换等压缩
  • 可不处置,有些模子对异常值不敏感:例如KNN/随机森林等

2. 特征工程

2.1 数值型

  • 延续型:离散化(例如岁数/身高/体重等)
    • 无监视:分箱等
    • 有监视:基于卡方磨练/信息增益等
  • 标准化/归一化:Normalizer/StandardScaler/MinMaxScaler

2.2 非数值型

  • 种别型
    • 存在排序问题的编码:sklearn.preprocessing.LabelEncoder
    • 不存在排序问题的编码:sklearn.preprocessing.OneHotEncoder/get_dummies/Binarizer二值化
  • 时间型
    • 与数值型/种别型举行特征交织/组合(企业级应用很常见)
    • 接纳时间滑动窗口统计特征count/min/max/mean/median/mode/variance等
  • 字符串型
    • 可接纳词袋模子/TF-IDF/主题模子/Word Embedding等

2.3 特征系统扩充

  • 特征交织/特征组合等
  • 多项式转换:PolynomialFeatures
  • 引入新特征:凭据迭代评估决议是否添加(企业级应用)

2.4 特征选择(降维)

  • 去掉取值转变小的特征:取值基本都相同的特征
  • 权衡单个特征和标签的关联度:scipy.stats.pearsonr/minepy.MINE/回归权重等
  • 含正则化的线性模子/树模子等:SelectKBest/SelectFromModel
  • 其他特征选择思绪:RandomizedLasso/sklearn.feature_selection.RFE
  • 降维:sklearn.decomposition.PCA/sklearn.lda.LDA

2.5 sklearn.pipeline

  • 能够完成流水线式和并行式的事情

3. 模子选择/融合

3.1 常见的机械学习算法

  • lr/svm/rf/GBDT/xgboost/lightgbm等

3.2 模子融合

  • 回归展望的boosting思绪:各模子的加权平均融合
  • 分类识别的bagging思绪:各模子的投票融合
  • Stacking/Blending等模子融合方式

3.3 企业级模子应用思绪

  • lr/xgboost/gbdt+lr/引入DNN等

4. 模子训练/测试

4.1 数据集划分

  • 按比例划分:sklearn.model_selection.train_test_split
  • K折交织验证:KFold/GroupKFold/StratifiedKFold

4.2 调参

  • 网格搜索/贝叶斯优化等(sklearn.grid_search.GridSearchCV)

长治生活网:数据挖掘竞赛/项目全流程先容 第1张

5. 其他问题

5.1 样本不平衡问题

  • 数据角度:欠采样/过采样/SMOTE算法等
  • 模子角度:调整lr的阈值/接纳树模子等
  • 评估角度:接纳F1值/ROC曲线等

5.2 无标签样本问题

  • 半监视学习方式/聚类思索等

5.3 欠拟合/过拟合问题

  • 欠拟合
    • 特征扩充/非线性模子等
  • 过拟合
    • 扩充数据集/正则化/early stoppping/交织验证
    • Dropout/batch normalization

长治生活网:数据挖掘竞赛/项目全流程先容 第2张

6. 模子评估

6.1 回归问题

  • 平均绝对误差MAE/平均平方误差MSE/均方根误差RMSE/决议系数R2等

6.2 分类问题

  • 混淆矩阵/准确率/召回率/F1/ROC曲线/AUC/PR曲线/交织熵损失等

6.3 上线问题

  • 线下预估/流量分配/ABtesting/营业评估指标等(企业级应用)

长治生活网:数据挖掘竞赛/项目全流程先容 第3张

老例子,最后直接上完整的头脑导图!

长治生活网:数据挖掘竞赛/项目全流程先容 第4张

若是您对人工智能算法感兴趣,迎接浏览我的另一篇博客:人工智能新手入门学习门路和学习资源合集(含AI综述/python/机械学习/深度学习/tensorflow)
若是你是计算机专业的应届毕业生,迎接浏览我的另外一篇博客:若是你是一个计算机领域的应届生,你若何准备求职面试?
若是你是计算机专业的本科生,迎接浏览我的另外一篇博客:若是你是一个计算机领域的本科生,你可以选择学习什么?
若是你是计算机专业的研究生,迎接浏览我的另外一篇博客:若是你是一个计算机领域的研究生,你可以选择学习什么?
若是你对金融科技感兴趣,迎接浏览我的另一篇博客:若是你想领会金融科技,不妨先领会金融科技有哪些可能?
之后博主将连续分享各大算法的学习思绪和学习条记:hello world: 我的博客写作思绪

,

进入sunbet 1111397

欢迎进入sunbet 1111397!Sunbet 申博提供申博开户(sunbet开户)、SunbetAPP下载、Sunbet客户端下载、Sunbet代理合作等业务。

转载声明:本站发布文章及版权归原作者所有,转载本站文章请注明文章来源:欧博亚洲(Allbet Game)!

本文链接:https://www.chezhijia398.com/post/706.html

网友评论

最新评论

  • 联博以太坊高度 10/24 说:

    欧博APP欢迎进入欧博APP(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。这类型很少见啊

  • 联博以太坊高度 10/24 说:

    欧博APP欢迎进入欧博APP(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。这类型很少见啊

  • UG环球 10/23 说:

    Allbet Gmaing代理欢迎进入Allbet Gmaing代理(www.aLLbetgame.us):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。一定一定要看这个!

  • 环球UG电脑版下载 10/23 说:

    欧博APP下载欢迎进入欧博APP下载(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。写作能力max!

  • Allbet官网 10/23 说:

    联博开奖网www.326681.com采用以太坊区块链高度哈希值作为统计数据,联博以太坊统计数据开源、公平、无任何作弊可能性。联博统计免费提供API接口,支持多语言接入。我是看文小能手

  • 联博 10/23 说:

    欧博亚洲APP下载欢迎进入欧博亚洲APP下载(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。前来围观

  • ALLBET官网娱乐平台开户 10/23 说:

    Allbet注册欢迎进入Allbet注册(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。都给我看好看的文!

  • 环球UG官网 10/22 说:

    欧博亚洲手机版下载欢迎进入欧博亚洲手机版下载(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。这网站的都挺好看