Hadoop、Spark、Flink 三大大数据处理框架的能力与应用场景
一、技术能力与应用场景对比
| 产品 | 能力特点 | 应用场景 |
|---|---|---|
| Hadoop | - 基于MapReduce的批处理框架 - HDFS分布式存储 - 容错性强、适合离线分析 - 作业调度使用YARN | - 日志离线分析 - 数据仓库存储 - T+1报表分析 - 海量数据处理 |
| Spark | - 基于内存计算，速度快 - 支持批处理、流处理（Structured Streaming） - 支持SQL、ML、图计算等 - 支持多语言（Scala、Java、Python） | - 近实时处理（秒级延迟） - 用户行为分析 - 推荐系统 - 电商数据分析 |
| Flink | - 原生支持流处理（毫秒级延迟） - 支持有状态计算 - 精准一次语义（Exactly-once） - 高吞吐低延迟 | - 实时风控系统 - 日志实时清洗 - IoT数据采集分析 - 实时指标监控报警 |
二、日志处理流程描述
一、日志采集与传输（Flume / Logstash / Kafka）
1.1 日志产生
-
日志来源包括 Web 服务器、应用服务器、容器、移动端、嵌入式设备等；
-
日志格式多为 JSON