大数据

Wonder

累计撰写 38 篇文章
累计创建 64 个标签
累计收到 2 条评论

标签搜索

目录CONTENT

以下是大数据相关的文章

2018-08-15
Spark ML中Pipeline、特征转换和决策树分类算法的使用 Spark中有关机器学习的库已经在从MLlib往ML逐步迁移了，MLlib库也将在Spark 3.0后停止维护，所以我们需要尽快熟悉ML库。
- 2018-08-15
- 123
- 0
- 0
- 大数据
2018-08-08
Spark读取文本文件并转换为DataFrame Spark ML里的核心API已经由基于RDD换成了基于DataFrame，为了使读取到的值成为DataFrame类型，我们可以直接使用读取CSV的方式来读取文本文件，可问题来了，当文本文件中每一行的各个数据被不定数目的空格所隔开时，我们无法将这些不定数目的空格当作CSV文件的分隔符（因为Spark
- 2018-08-08
- 134
- 0
- 0
- 大数据
2018-08-06
Spark中基于神经网络的MLPC(多层感知器分类器)的使用 MLPC(Multilayer Perceptron Classifier)，多层感知器分类器，是一种基于前馈人工神经网络（ANN）的分类器。Spark中目前仅支持此种与神经网络有关的算法，在ord.apache.spark.ml中（并非mllib）。本文通过代码来演示用Spark运行MLPC的一个
- 2018-08-06
- 128
- 0
- 0
- 大数据
2018-08-01
浪潮集群上使用Hadoop和Spark 忙活了半天，终于在实验室的浪潮集群中配置好了hadoop和spark，以后能用配置这么高的服务器了，想想就好开心~
- 2018-08-01
- 137
- 0
- 1
- 大数据
2018-07-26
Spark MLlib中ALS交替最小二乘法推荐算法的使用 ALS(Alternating Least Square)，交替最小二乘法。在机器学习中，特指使用最小二乘法的一种协同推荐算法。本文通过代码来演示用spark运行ALS算法的一个小例子。
- 2018-07-26
- 117
- 0
- 0
- 大数据
2018-07-21
Spark MLlib中FPGrowth关联规则算法的使用 FPGrowth（频繁模式增长）是一种关联规则分析算法，本文通过代码演示用spark运行FPGrowth算法的一个小例子。
- 2018-07-21
- 158
- 0
- 0
- 大数据
2018-07-15
Spark MLlib中KMeans聚类算法的使用 KMeans是一种典型的聚类算法，本文通过代码来演示用spark运行KMeans算法的一个小例子。
- 2018-07-15
- 127
- 0
- 0
- 大数据
2018-06-20
基于Spark的学生成绩分析系统本文是本人硕士期间云计算课程的一次大作业，所以可能部分内容有充字数的嫌疑，还望各位看官无视。。。
- 2018-06-20
- 141
- 0
- 0
- 大数据
2018-06-08
Spark RDD的简单使用 RDD(Resilient Distributed Dataset)即弹性分布式数据集。RDD是Spark的核心，在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值。
- 2018-06-08
- 128
- 0
- 0
- 大数据
2018-06-06
Spark从外部数据集中读取数据本文将介绍几种从Spark中读取数据存入RDD的方式，分别是从HDFS中读数据从MySQL数据库中读数据从HBase数据库中读数据
- 2018-06-06
- 135
- 0
- 1
- 大数据