大数据平台核心能力：海量数据采集、存储、计算、治理、分析挖掘、服务输出，覆盖政企、工业、金融、交通、医疗、零售、政务等行业，下面分大类梳理典型场景。 一、政务大数据 一网通办 / 智慧政务 汇聚公安、民政、社保、不动产等多部门异构数据，打通数据孤岛，实现材料免重复提交、跨部门业务联办；开展人口画像、
发布于 2026-09-04
核心逻辑：数据仓库做数据存储、清洗、建模；BI 工具做连接、查询、可视化、分析，BI 本身不做大量 ETL，主要作为查询消费层。主流 BI：Tableau、Power BI、FineBI、Quick BI、Superset、Metabase；数仓：Hive、ClickHouse、Greenplum、
发布于 2026-08-05
面对千万 / 亿级数据集，MongoDB 查询慢绝大多数根源：缺少索引、集合设计不合理、查询全表扫描、内存不足以容纳工作集。下面从索引、建模、查询优化、集群、读写分离、实操避错完整说明。 一、索引优化（最核心） MongoDB 查询不走索引会做集合扫描 (COLLSCAN)，大数据集直接超时。 1.
发布于 2026-08-05
适用于离线数仓、实时计算、数据湖、企业数据中台、政务 / 制造业 / 互联网大数据项目，分为业务需求、技术能力、运维成本、生态兼容、安全合规、商业化支撑六大维度，可直接用于方案评审、招标打分。 一、业务场景匹配（首要标准） 选型先对齐业务，避免技术过度堆砌 数据接入类型 结构化数据库、日志、IoT
发布于 2026-07-31
一、整体组件选型（轻量化，适合笔记本 / 开发机调试） 组件清单（兼顾离线 + 实时开发调试） 存储：MinIO（替代 HDFS
发布于 2026-07-28
按数据采集、存储、计算、调度、数仓 / ETL、监控运维、版本协作、查询分析全流程分类，覆盖离线、实时、湖仓一体场景，包含开源主流工具 + 企业商用工具，附适用场景。 一、数据采集工具（源头数据同步、日志采集） 1. 日志实时采集 Flume（Apache）
发布于 2026-07-28
按数据采集、存储、计算引擎、实时流处理、数据仓库 / OLAP、调度、治理、可视化完整链路分类，区分离线、实时、批流一体，附适用场景与核心优势。 一、数据采集工具（多源数据接入） 1. Apache Flume 定位：日志专用采集框架 场景：服务器日志、应用日志实时收集，落地 HDFS/Hive/K
发布于 2026-07-24
