Category · bigdata-compute
大数据计算，一共 2 个
把一个大任务切成很多小任务，分给一群机器并行算
Spark
把中间结果放内存，比 MapReduce 快一个数量级
较难Apache-2.0Scala / Java / Python / R
RDDDAGStageShuffle宽窄依赖
5 个概念4 个问题 有动画
Flink
一条一条算的流处理引擎，也能顺带把批算了
较难Apache-2.0Java / Scala / Python
DataStreamWatermarkWindowStateCheckpoint
5 个概念4 个问题 有动画