光伏电站监控中软件部署（二）归一存储 消息推送 规则处理 统计分析

（接续上期）

2.4. 归一化存储服务：为了后续能达到进行大数据分析，乃至数据挖掘，充分开发本系统潜能的目标，设计时要严格考虑存储组件的选型、数据存储的格式，另外，需要考虑设备量非常多时，并发读写压力将是极大的

本系统将使用Redis、MongoDB 和HDFS 来分别存储超热数据、热数据和冷数据。即使设备类型和型号不一致，存储时也尽量遵从归一化原则，至少在存储格式上使用JSON格式，为基于Hadoop 的分析脚本提供便利

MySQL 作为老牌传统关系型数据库，在大数据分析领域和高性能领域已落后，不在本系统的考虑范围内

2.5. 消息推送服务：无论是邮件、短信、APP通知栏消息或者微信通知，本质上都是消息，该服务确保以一种简洁、统一的接口风格，来支持以上四种消息推送，后续增加推送类型时也非常方便

2.6. 规则处理服务：该服务将统一对设备上报的数据、APP 上报的数据等进行规则分析，如果满足某些条件，将按照既定设定触发一系列动作。传统的规则处理方案，实际上是“规则入库”->“规则解析”->“静态处理”的过程，缺点是环节多、处理效率低下，当海量数据上报时，系统极易崩溃。另外，扩展性也不够好，因为规则可能千变万化，因此处理逻辑也不可能完全一致

该服务设计时，将充分考虑到性能、扩展性这两点，使用动态脚本技术，将规则处理过程简化为“规则入库”->“动态处理”，环节大大简化，因此，处理性能会有答复提升，同时脚本语言本身具有动态性，因此对新规则的支持非常灵活

2.7. 统计分析服务：该服务将统一处理数据分析，包括实时分析、离线分析，以及后续可能的超高复杂性预测分析，该服务必须依赖于前面提到的“归一化存储服务”

该服务将使用Spark 流式计算组件来满足实时分析，最小分析时间刻度可按照客户要求设计，通常最小可达 2 分钟

基于Hadoop的MapReduce写分析脚本来满足海量数据的离线分析；如果后续会有预测分析时，该服务将引入“数据分析模型”（如决策树等）和专业的“数据仓库”（如 PG 等）

2.8. 安全保障服务：安全最能体现“木桶效应”原则，即使绝大部分安全措施都建设的非常完备，如果漏掉一个点，系统就有极大的可能性被攻击

本系统充分考虑到可能面临的安全危险，主要有：流量攻击（DDOS、CC 等）、WEB 漏洞攻击（XSS、CSRF、SQL 注入、提权等）、数据隐私泄密（流量劫持、路径遍历等）、软件漏洞攻击（专门针对过低版本 Linux 内核版本的攻击、专门针对过低版本 WEB 容器版本的攻击等）、端口攻击（端口扫描等）。针对以上安全威胁， 本服务将采取以下措施：

1. 全链路使用加密，长连接使用 TLS 加密、短连接使用 HTTPS协议

2. 如果基础组件层是私有云，则机房必须配备流量监控软硬件如果是公有云，则必须购买防DDOS 攻击服务

3. 使用 WEB 漏洞扫描器对全站进行漏洞扫描，而且此扫