适用于离线数仓、实时计算、数据湖、企业数据中台、政务 / 制造业 / 互联网大数据项目,分为业务需求、技术能力、运维成本、生态兼容、安全合规、商业化支撑六大维度,可直接用于方案评审、招标打分。 一、业务场景匹配(首要标准) 选型先对齐业务,避免技术过度堆砌 数据接入类型 结构化数据库、日志、IoT
一、整体组件选型(轻量化,适合笔记本 / 开发机调试) 组件清单(兼顾离线 + 实时开发调试) 存储:MinIO(替代 HDFS
按数据采集、存储、计算、调度、数仓 / ETL、监控运维、版本协作、查询分析全流程分类,覆盖离线、实时、湖仓一体场景,包含开源主流工具 + 企业商用工具,附适用场景。 一、数据采集工具(源头数据同步、日志采集) 1. 日志实时采集 Flume(Apache)
按数据采集、存储、计算引擎、实时流处理、数据仓库 / OLAP、调度、治理、可视化完整链路分类,区分离线、实时、批流一体,附适用场景与核心优势。 一、数据采集工具(多源数据接入) 1. Apache Flume 定位:日志专用采集框架 场景:服务器日志、应用日志实时收集,落地 HDFS/Hive/K