所有栏目

mapreduce模型的map阶段利用了什么并行性

已输入 0 字
优质回答
  • 一个 MapReducejob 的 p map 阶段并行度由客户端在提交 b job 时决定,即客户端提交 job 之前会对待处理数据进行 逻辑切片。

    切片完成会形成 切片规划 文件( job.split) ),每个逻辑切片最终对应启动一个 maptask。

    逻辑切片机制由 FileInputFormat 实现类的 getSplits()方法完成。

    2023-10-24 14:22:34
最新问题 全部问题