随着新基建概念的提出,和互联网的快速发展,人工智能、航空航天、VR技术是未来的大势所趋,很多人想抓住科技的未来,进行机器学习。机器学习会改变我们的生活,接下来,小编就将介绍一些相关内容:机器学习,机器学习算法,一起来看看吧。
机器学习,机器学习算法
1.机器学习,机器学习算法
我们有一个常见的步骤,主要包括以下几个方面:
- 清楚问题:达到什么目的
- 所需的数据问题:如果公司有大量的数据,就能确定最终目标是什么;如果没有,则需要通过目标来确定数据集。
- 获得数据:企业内部数据(项目使用),例如数据库等。
- 诸如:UCI、GoogleTrends、Kaggle、AWS公共数据集、Imagenet、MINIST、麻省理工大学人脸识别、歌曲数据库、图像处理COCO、视频数据集youtube等开放源代码数据集。
- 整理数据的格式:通常我们的数据大多是数据库的文件数据,并非里面的所有维度信息都需要用到,所以这里要对其进行相应的处理。
- 将收集的数据转换成txt、csv、xsl等格式,便于从机器学习库读取。对原始数据的所有可变因素量化进一步转换为包含数据(Data)和标签(标签)的数据框形式,便于建模。
- 资料的预处理
- 偏移检测:即检查产生偏差的因素,识别离散值和噪声值。
- 资料清理:即处理丢失的值和噪音。
- 资料标准化
- 分割数据。
- 打乱数据集,并按7:3或8比2或其他方式分成训练集和测试集。
- 根据场景选择适合的机器学习模型。
这之后,还需要关注维度大小,也就是关注数据质量和它的特征属性,关注可用计算资源。项目小组会对工程进度进行预测,确定手持数据可以应用于哪些项目;还需设置损失函数loss、设定学习率,最后进行检验