一起认识Spark中几个常见的RDD算子

　　在Apache Spark中，RDD(Resilient Distributed Dataset)是一种基本的数据结构，可以执行各种转换操作和动作操作。以下是一些常见的RDD算子，以及它们的简单示例代码：

      1.map(func)：对RDD中的每个元素应用一个函数，并返回一个新的RDD。

rdd = sc.parallelize([1, 2, 3, 4, 5])
mapped_rdd = rdd.map(lambda x: x * 2)
print(mapped_rdd.collect())  # 输出: [2, 4, 6, 8, 10]

　　2.filter(func)：根据给定的条件过滤RDD中的元素，并返回一个包含满足条件的元素的新RDD。

rdd = sc.parallelize([1, 2, 3, 4, 5])
filtered_rdd = rdd.filter(lambda x: x % 2 == 0)
print(filtered_rdd.collect())  # 输出: [2, 4]

　　3.reduce(func)：对RDD中的元素进行累积操作，将两个元素合并为一个。

rdd = sc.parallelize([1, 2, 3, 4, 5])
sum_result = rdd.reduce(lambda x, y: x + y)
print(sum_result)  # 输出: 15

　　4.flatMap(func)：类似于map，但每个输入元素可以映射到零个或多个输出元素，然后将所有输出展平为一个RDD。

rdd = sc.parallelize([1, 2, 3])
flat_mapped_rdd = rdd.flatMap(lambda x: [x, x * 2])
print(flat_mapped_rdd.collect())  # 输出: [1, 2, 2, 4, 3, 6]

　　5.groupByKey()：根据键对RDD中的元素进行分组。

rdd = sc.parallelize([(1, 'a'), (2, 'b'), (1, 'c')])
grouped_rdd = rdd.groupByKey()
result = grouped_rdd.mapValues(list)
print(result.collect())  # 输出: [(1, ['a', 'c']), (2, ['b'])]

　　以上笔者列举的是一些常见的RDD算子，Spark还提供了许多其他强大的算子，可以用于数据处理和分析。我们可以根据具体的需求选择适当的算子来构建Spark应用程序。