查看Spark 学习笔记的源代码
←
Spark 学习笔记
跳转到:
导航
、
搜索
因为以下原因,你没有权限编辑本页:
您刚才请求的操作只有这个用户组中的用户才能使用:
用户
您可以查看并复制此页面的源代码:
==== shuffle 阶段 ==== 跟 Hadoop MapReduce 一样, spark 也有一个 shuffle 过程,在 xxxByKey 、 join 、 cogroup 操作的时候,涉及到怎么将 map 结果和 reduce 对接,需要在节点之间传输数据,有分区、网络、磁盘、序列化的开销,因此是性能关键的地方。 一个介绍 ppt: http://www.slideshare.net/colorant/spark-shuffle-introduction
返回到
Spark 学习笔记
。
个人工具
登录
名字空间
页面
讨论
变换
查看
阅读
查看源代码
查看历史
操作
搜索
导航
首页
社区专页
新闻动态
最近更改
随机页面
帮助
工具箱
链入页面
相关更改
特殊页面