高等教育領域數字化綜合服務平臺
華中科技大學
教育部
- 74 高校采購信息
- 3295 科技成果項目
- 0 創新創業項目
- 0 高校項目需求
一種基于多線程的 MapReduce 執行系統
2021-04-14 00:00:00
云上高博會
http://www.74jv82s.xyz
關鍵詞：
MapReduce
所屬領域:
項目成果/簡介:
本發明公開了一種基于多線程的 MapReduce 執行系統，包括：
實現一個多線程的MapReduce執行引擎：將原有Hadoop中Map/Reduce
任務的多進程執行模式改為多線程方式；提取 Map 任務和 Reduce 任
務中對內存使用的細節特征，根據這些特征將 MapReduce 流程細粒度
地分為多個階段，并將原有 Hadoop 中 shuffle 過程由 Reduce 的拉取改
為 Map 的主動推送；在 MapRe
項目階段:
掃碼關注，查看更多科技成果
取消
確定