安全运营中心解决方案.docx

1、上海观安信息技术股份有限公司安全运营中心建设方案恐观安上海观安信息技术股份有限公司地址：上海市普陀区大渡河路388弄5号华宏商务中心6层t*t(*tta(*(*(1*(*f7京宏加3541.1.I.I.1.2.项目定义-项目范国-55I.1.3.I.!.1.61.1.4.1.保障业务安全运行.61.1.4.2.1.1.4.3.滴否管要求.7I.1.5.建设原则91.1.6.与客户自有大数据平台对接的套势强知平台技术架沟.101.1.7.功能架的121.1.7.1.数据采集层-121.17.2131.1.7.3.敷堀分析层1311.7.4.桧激晌双层14I.1.8.Jft11811,1,82.1

2、61.1.8.3.策客竹及横向扩展能力1.1.8.4.oT1.1.17；2洋细方宏181.2.1.皴好采集和数据处理(ET1.),一-181.21.1.效兴源.哭集范围181.2.1.2.数奥格式支持1812.131912.14日志解析和统一格式般范191.2.1.5.数用处理ET1.一.,.201.2.16.221,2.17.1.2,1.81.i志备份.231.2.2.全文榜索241.2.2.1.统计分析12.22.261.2.3.威助情报271.2.4.出1.2.4.1.凶12421.2.4.3.梭型分析311.2.4.4.动态基线分析221.2.4.S.机5学习.321,2461.2.4

3、7.脆弱性分析341.2.4.8.v34?aQ生警方式351.2.5.安日景分析361.2,51.探洪野段361.2.5.2.攻击实施阶段371253权限荻取3940125.5.其他安全场景411,2.6.安全告瞽管理411.2.61,安全事件处置42441.2.63,安全事件祥源AA12.6.4.智能安全防护.AA45471.2,81,综合安全态势471.2.82.里要业务系统态势.481.2.83.网络威胁态势49491.2.85,用户行为态势501.28.6.安全态势报告51511.2.9.仪衣盘521.2.91.自定义仪关盘521.2.92.自定义组件库1.2.II.询产管理541.

4、2.12情斌管理551.2.13.报表管理S6IaIA加仝有十由；+1.2.15.健康监控1.2.16.性能指标5858591I-.z1*21%4A*4132看德闩右火敕抠平台建式目622.1.实Ife范BI622.3详维实海方富622.4.项目实施时向计划-712.5.项目管理方案-.72q2.7.验收计划972.8.培训方案-MI1033.1. 技术支椅与售后务政策3.1.1, 技术后援支持3.1.2, 技术后援支持方式.103.103.104.1063.2.保修及系统雉护胺务.3.2.1.服务范囹-“-1063.2.2.响应时间.1063.2.3.膻务方式063.2.4.一.项目整体解决

5、方案1.1. 方案概要1.1.1. 项目定义本项目基于公司现有的大数据平台.利用专业的日志收集和分析技术，对接安全设备日志以及重要的操作系统、应用系统日志，运用规则分析、机器学习以及威胁情报等分析手段，感知内外部的安全威胁，并对信息安全事件的处理和追溯提供支撑，保障公司信息安全管理符合监管规范要求，建设更具适应性的智能安全防护体系支撑和保障信息系统和业务安全稳定运行。1.1.2. 项目范围本次信息安全态势感知平台的日志采集范围包括：关键网络设备日志、安全设备日志、数据库审计系统日志、中间件日志应用系统日志、操作系统日志、流量日志等。1.1.3. 建设目标本项目通过成熟的大数据安全分析产品，以此

6、为基础，建设基于大数据技术的信息安全态势感知平台。通过分期开展信息安全态势感知平台建设，对公司内部的网络、主机等安全设备及各类操作系统、应用系统的日志进行统一收集和存储，并结合规则分析、统计分析、机器学习以及威胁情报等分析手段及时发现信息安全威胁和事件，并为信息安全事件的处理和追溯提供有力的原始数据支撑，并逐步构建安全威胁的检测、响应、调查、处置的安全运营自动化，促进提升信息安全管理能力。通过本项目建设,利用成熟和专业化的技术手段.借鉴产品在同行业乃至其它行业公司的方法和经验，转化为适合公司实际的信息安全防范机制.提升网络安全防御能力，建立全天候全方位的网络安全态势感知能力。1.1.4. 需求

7、概述随着业务的拓展和数字化转型进程的加快，以及监管要求的提高、安全形势的变化，公司迫切需要能够应对新型安全威胁的能力，既能够对各类信息威胁进行事前预防、事中阻断、事后追溯，又不影响业务的连续性运营。本项目主要有如下需求：1.1.4.1. 保障业务安全运行目前公司已建设较为完善的安全防护体系，但是和安全有关的各类关键信息散落在各类主机、应用系统、网络设备、安全设备上未能较好的分析利用，各个安全系统独自发挥作用，公司对统一的安全要素信息收集和分析的需求强烈，迫切需要充分利用日志分析发现潜在的安全隐患。网络攻击变得越来越有组织性，并且形成了黑色产业链，不断增加公司网络安全风险安全威胁千变万化.特别是

8、近年来APT攻击、勒索病毒、褥羊毛、第三方APP非法接入等新型安全威胁层出不穷，让企业、非盈利组织乃至政府机构等攻击目标防不胜防。攻击方总是想尽办法突破原有的攻击思路,创新攻击技术和手段，从而达到攻陷对手的目的。而防守方面对变化莫测、创新不断的攻击手段，很难找到统一的、行之有效的方案，来主动应对威胁。大数据分析技术能够给网络与信息安全带来全新的技术提升，突破传统技术的瓶颈，可以更好地解决已有的安全问题，也可以帮助我们应对新的安全问题1.1.4.3.满足监管要求第一,采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月：第二，发生网络安全事件,应当立即启动

9、网络安全事件应急预案，对网络安全事件进行调查和评估。第三，加强网络安全态势感知、监测预警和应急处置能力建设。建立统一高效的网络安全风险报告机制、情报共享机制、研判处置机制，准确把握网络安全风险发生的规律、动向、趋势最后，应在关键网络节点处检测、防止或限制从内部发起的网络攻击行为，并确保规则库或情报库进行及时更新，应采取技术措施对对网络行为进行分析，实现对网络攻击特别是新型网络攻击行为进行分析。在设计、建设和系统实现过程中，遵循全面安全数据采集、高质量数据长期存储、数据开放、充分利用信息价值、不断扩充场景”的原则.按照“安全数据集中存储、基于实践开发安全场景的方式进行建设，定位于为企业业务支撑提

10、供安全威胁分析与预警能力，为企业提供“集中存储、不断扩充.的安全分析能力。应遵循如下指导原则：安全数据全面采集，进行内部、外部、情报相关安全数据的全面采集，使安全数据可以反映出所有时段、各个安全层面、主要IT环境的情况；高质量长期存储，针对大数据技术特点，所采集数据原则上保留原始数据同时，按数据内容进行标准化、标签化,按批处理分析、实时分析、全文检索、数据库查询的需要进行存储，各个处理环节均需要保证完整性与准确性；数据开放原则，以大数据安全分析平台提供数据开放，各安全应用可向大数据安全平台订阅数据用于自身的分析需要；扩大信息价值，全面采集与集中存储的数据之间，可以通过信息的关联、因果提升价值，

11、例如海量的攻击日志可以和资产与漏洞信息结合，转化为更易于分析的安全告警关联能力数据，相对于独自存在相互隔离的数据大幅提升价值;场景扩充原则，其于全量高质量的安全数据，逐步扩充安全攻击检测、异常流量检测、安全威胁情报等场景，最终实现对安全威胁情况的准确把握与预警。1.1.6.与客户自有大数据平台对接的态势感知平台技术架构态势感知平台应基于XXXX现有大数据平台建设，由平台提供数据存储和计算能力，态势感知平台应作为XXXX大数据平台上层的一个租户应用。基于此项要求.以及观安信息在行业的案例实践，我们为XXXX态势感知平台设计的系统架构如下图所示：根据上图显示的技术架构，图中紫色箭头所指的区域为XX

12、XX大数据平台，其中包括了用来存储离线数据的HDFS组件、用来存在日常检索数据的ES组件，以及其他的大数据平台基础组件和部分结构化数据库等组件。该区域的职能为从图中存储第一部分的采集和解析后的数据，并提供数据和计算资源给第三部分及第四部分的分析与计算模块,展示与检索模块使用。其中，如果XXXX现有大数据平台对比上述技术架构缺少部分组件，如ES、F1.ink等，将由XXXX提供大数据平台集群的硬件资源，由观安信息负责部署相关组件，以在充分利用大数据平台提供的计算资源基础上，扩展相关功能支撑态势平台分析能力的需要。根据上述架构，完整的数据流如下：1）各种数据源由观安信息开发的采集器进行数据采集,通

13、过ET1.模块清洗补全成标准数据，保存至XXXX自有大数据平台上的HDFSsEIasticSearch.Kafka各个组件内;2）使用日asticSearch按日期索引存储ET1.清洗后的日志数据，定期清理；3）离线规则分析引擎使用F1.ink从XXXX大数据平台上的HDFS中加载格式化数据，进行离线分析统计后的结果输出至Kafka.由事件消费程序最终处理成事件数据保存；4）实时分析引擎从Kafka消费格式化数据，进行关联分析后将结果保存；5）使用SParkCore、SparkM1.实现离线场景分析和模型计算；6）使用RediS缓存字典、情报、基线等信息；7）后端服务使用SpringBootx

14、SpringDataJpa向前端提供Restfu1.接口；8）前端使用Vue、E1.ement.Echarts等，由nginx部署代理转发。经过总结XXXX内部需求及同业建设经验，XXXX威胁态势感知平台的总体建设框架如下图所示：存恸计检测响应S%otf*IoeMbMFkime.决威胁态势感知平台必须采用大数据分布式存储技术，并参照业内先进的大数据架构。系统从逻辑架构上应分为四层：数据层、数据存储计算层、分析层、检测响应层，各层需采用业内先进的技术实现：1.1.7.1. 数据采集层该层包含对内外部数据源的数据采集、数据抽取、数据传输、数据转换、以及数据加载到大数据平台等各种处理。采用支持读写各

15、主流关系型数据库、支持读写分布式NoSQ1.数据库与支持读写HDFS文件系统，实现异构数据资源的抽取、清洗、转换，最终装载到大数据平台的分布式数据库系统中，实现数据集成.数据集成层通过各种处理，将异构的、结构化和非结构化的、实时和批量的数据，集中到大数据分析系统，整合成为集中、一致、多维度的数据平台。数据采集的来源主要分为三类：原生日志类：包括各类操作系统日志、中间件日志、应用日志等，也包括一些安全设备类：包括各类安全设备如防火墙、入侵检测、防病毒、漏洞扫描、堡垒机、数据库审计等产生的告警曰志等其它类：包括网络流量数据、外部威胁情报数据.内部情报数据（如CMDB、接口白名单数据等）1.1.7.

16、2. 存储计算层该层将主要利用XXXX现有的CDH大数据平台实现数据的存储和计算、由CDH平台提供结构化数据、半/非结构化数据、实时数据等的存储和处理能力对于威胁感知平台建设需要，单目前CDH平台尚缺少的大数据组件.将在规划之初就考虑在CDH平台中兼容和增加相关组件。同时讲建设数据管理模块，用来管理各类接入得数据源，并且根据上层分析得需要进行日志格式化处理。1.1.7.3. 数据分析层本层主要通过建设各种分析引擎和分析能力模块，支撑上层各类威胁检测场景。具体包括：分析引擎分析引擎作为威胁感知平台的核心能力，提供各种分析计算能力，允许用户利用分析引擎，结合用户场景分析需求和数据源，自定义配置各种

17、分析策略。根本规划，威胁感知平台将逐渐建设实时关联分析、离线分析、动态基线分析、统计分析等分析引擎风险分析提供给用户安全事件的管理和调查能力，允许用户对安全事件以及相关联的上下文日志进行管理、调查、判断、归类、分析以进行下一步的分析调查。具体功能包括安全事件管理，自定义仪表盘、全文检索等功能。1.1.7.4. 检测响应层本层是威胁感知平台的实际应用层,利用下层的各类数据、存储计算能力、分析引擎能力，结合场景需求来建立各类安全场景分析,包括资产分析（如法外资产、用户画像）、外网威胁分析、内网威胁分析、用户行为分析、业务风控分析等，分析服务器、数据库、网络设备、安全设备、网络流量等多个域的数据，通

18、过建模、业务分析发现风险。同时，威胁感知平台在检测相关威胁后，还将进一步建设包括安全事件智能调查、安全联动、自动化编排、安全操作规范SoP等，实现整合安全事件从检测、响应、调查、处置的全流程管理和智能化管理，帮助我们从传统的安全设备运维转向全面的安全事件驱动的安全运营。支持开源大数据架构：支持开源大数据架构，可水平扩展,并支持与企业自有大数据平台进行对接。上下文感知技术：对用户、终端、文件、应用和其他实体构建上下文的接口。以用户上下文的组件为核心实现驱动或关联数据丰富、行为分析和异常检测等功能创新的流处理和批处理双引擎：主流的大数据分析产品有流式处理和批处理两种方式，两种处理方式各有优势.平台

19、将两种分析融合到一个系统中，为客户提供性能更好、更灵活的数据分析平台无人监督的机器学习：专门构建的无人监督的机器学习算法产生较少的误报提供广泛的覆盖并产生高度可信的结果，这有助于事件响应和寻找威胁。多维行为基线：就以部门、个人、资产、资产群等为单位建立多维度行为基线,关联用户与资产的行为，用机器学习算法（基于数量、关联关系、行为序列,上百个模型）和预定义规则找出严重偏离基线的异常行为，不单纯把行为分成非白即黑，而是经过概率计算输出灰度（异常分值）来判断是否异常自定义威胁生成：定制底层机器学习框架，以拼接感兴趣的异常，并通过细粒度控制来解决定制用例。风险行为回溯：提供基于用户的调查分析工具，全面

20、掌握用户信息和行为轨迹,让异常用户无所遁形。开箱即用的安全规则：开箱即用的40+安全检测场景，有效检测出多种安全威胁，弥补传统安全设备检测不足：传统的WAF、防火墙、IDS等安全防护设备往往存在规则配者后无法验证实际效果的局面，大数据安全分析平台可有效检测传统安全设备防御不足，加固安全规则。1.1.8.1. 日志处理内置模板内置多种操作系统类日志处理程序模板；内罟Orade、MysqkMongoDB、PoSgreSQ1.等常见数据库数据处理模板。1.1.8.2. 高性能在平台的关键性能指标，如访问并发、响应时长、日志加载等关键环节，上海观安公司经过大量的测试及调优，达到非常高的技术水准，在同类

21、产品中处于领先地位，在一个标准的用户环境（万兆网络环境、计算资源配置达标）下各项性能指标如下：访问并发：系统所能支持的最大用户访问数量，也就是在正常的响应时间中，系统能够支持的最多的访问请求数量。包括对并发用户支持的个数，以及大并发情况下系统性能的要求，满足并发在500人以上同时在线进行分析查询。在系统及网络环境正常情况下，简单查询响应时间不超过2S.复杂查询响应时间不超过5S,标准分析响应时间应不超过8S,复杂分析响应时间应不超过12So日志加载性能：在系统处理100GB日志数据，500GB日志数据或者ITB或者更大数据量日志加载过程中，系统处理能力可保持不变；每秒日志数据加载虽不低于50M

22、Bs,加载速度不低于50万条/S。1.1.8.3. 兼容性及横向扩展能力本系统已在常见主流IinUX平台，如RedhatxCentOSSUSe及基于IBMPower处理器的Power1.inux平台部署验证过,均可正常使用；系统整体基于Had。P架构，除Had。P组件外，系统定制化的功能组件也支持分布式部署，因此在必要时只需增加节点数，即可实现横向扩展系统，达到提供系统性能的目的。1.1.8.4. 安全可靠上海观安公司在数据安全领域具有多年的经验和力量雄厚的技术团队，在日志大数据及分析管理系统产品中我们也在安全方面做了很多设计，如通过增加kerberos、ranger等模块提升平台中hadoo

23、p相关组件安全性，并可通过配置大数据安全基线、数据模糊化等相关安全产品来提升平台整体的安全性，让用户更加放心。1.2.9.2.自定义组件库自定义组件库帮助用户对原始日志、安全事件等抽象数据以具体图表仪表盘的方式进行展示，可定义包括图表名称、图表类型、分析数据项、数据过滤项、分析算法、展示样式等。自定义组件库支持用户选择各种展示图形，包括但不限于：攻击地图、折线图、矩形图、散线图、散点图、k线图、饼图、面积图、表格、流程，单值趋势图、热力图的图形化输出。所有仪表盘组件均支持实时将数据信息转换成图形化界面。所有仪表盘组件中的图形和表格支持钻取操作外，安全事件、仪1.2.10.网络拓扑监控网络拓扑监

24、控是基于企业实际的网络环境，绘制出的逻辑拓扑，可以根据企业现有的子网划分，绘制多幅逻辑拓扑。通过将网络拓扑和安全事件的告警等级（低、中、高、严重）相关联，直观展现全网事态。1.2.14,安全日志审计平台支持安全审计功能.提供安全事件和原始日志信息进行查询、统计、分析、展示等功能，方便用户从海量数据中快速检索、审计相关内容，可满足基础日志管理与合规审计的需求.1.2.15.健康监控健康监控是对平台组件性能的监控，包括采集组件，程序组件,分析组件，进行数据采集、数据处理状态以及数据吞吐量的监控。并高性能的管理能力。系统设计美观，操作合理且符合一线、二线、三线安全人员的使用习惯，经过多家公司对平台的

25、使用和优化改进，平台具有良好的用户体验,具备所见即所得的打印输出功能。系统与用户交互语言为中文用户功能菜单简单易懂，逻辑清晰。各类菜单、选项、按钮均有Tip提示或辅助参考信息帮助用户理解。系统应提供有效的安全保密措施,确保系统和数据资源的安全，防止对系统资源的非法侵入。1.3.产品部署本平台基于开源大数据架构,根据客户数据量,所有组件（如ES、Sparks分析引擎、Kafka、HbasexWeb中间件、MySQ1.等）均可独立部署。平台关键技术支持分布式部署，在目前上海观安实施的中信、国信等行业案例中，用户均可在项目实施验收后，根据数据量、模型数据、规则数量、机器学习维度、时间窗口增长时，轻松

26、的通过横向扩展的方式提高系统性能。根据行业客户是否需要对接企业已有大数据平台，又具体分为两种部署模式：独立平台模式、对接已有大数据平台模式。培训项目描述参加培训人员操作人员培训时间5天/期培训人数由客户确认教师1人培训目的通过培训，使操作人员了解应用系统及设备的结构、工作原理，掌握正确使用与操作和排除一般故障的能力。课程结合系统操作说明书进行讲解应用系统及设备结构、工作原理功能操作培训业务管理培训常见故障及排除方法培训培训教材用户手册、产品使用手册三.售后服务3.1. 技术支持与售后服务政策3.1.1. 技术后援支持公司会结合用户的实际需求，本着长期合作的原则，以优惠价格提供高质量的技术后援支

27、持。包括：(1)咨询：系统服务期内，向用户或用户指定的承建商提供各种与产品相关的免费技术咨询服务(包括热线服务)，包括热线电话、电子邮件、传真等方式。承诺最迟在2小时以内做出反应、24小时内提出解决方案。(2)软件迁移与二次安装：主要针对硬件环境变更或其他原因需要重新安装、软件迁移时，可在异地通过电话或电子邮件等其他方式配合用户完成所供应软件的二次安装；也可以经双方协商后，达成共识，由公司派出技术工程师作现场技术指导安装或直接安装。(3)软件升级：在服务期内,免费提供版本升级、产品换代更新“服务期满后,提供对相关软件升级提醒服务，协助制订升级计划，提供关于新版本改进性能的培训，远程或现场指导软

28、件升级。(4)状态报告和故障预测：在保修期内,在征得用户同意的条件下，公司工程师可定期通过远程方式监测用户系统的运行状况，或现场对系统进行检查，对应用系统现状做出评估，预测可能出现的故障,并提出预防策略以及提高系统软件性能的优化建议。(5)优化系统：虽然在系统安装调试时做过性能优化，但在实际运行时.公司还将根据业务运行情况、网络情况继续对应用软件平台的系统参数提供优化建议，确保系统随着业务的发展能够持续、稳定、高效地运行。(6)扩容与改造建议：当用户软件功能扩充或网络性能、应用系统性能下降时，公司会主动或根据用户要求，分析系统现状或故障情况，在深入了解用户目前及未来几年内的需求后，对网络扩容和

29、改造、应用系统平台建设、应用系统改造提出合理化建议，并及时提供实施方案。(7)客户满意度调查：根据ISO10006质量管理体系的要求，客户的满意是目标。及时了解客户对公司工作效率，服务质量的评价,进一步提高工作效率，改善服务质量。同时也是对工程师技术水平以及工作态度客观评价的一种手段。3.1.2. 技术后援支持方式远程支持一采用电话指导或远程登录、电子邮件等方式提供技术支持。现场技术服务当远程支持无法解决用户问题时，指派技术人员、协调厂商提供现场技术服务,定期跟踪应用系统安装、验收完毕后，我公司会随时定期通过电话跟踪使用情况，及时了解存在的问题，并随时给予解决。必要时，我公司派遣技术人员到现场

30、解决存在的问题。我公司还定期派遣技术人员现场回访，了解应用系统的运行情况,听取意见和建议.解决存在的问题。3.2. 保修及系统维护服务在系统安装调试完毕并通过最终验收后，即进入系统的维护期,从这个阶段开始，系统正式进入使用阶段，承担起运载各项业务的重任，因而这一阶段将成为整个系统维护的工作中心和重点。根据用户的需要.提供远程维护（采用电话指导或远程登录）和现场故障抢修两种技术支援方式。3.2.1. 服务范围软件故障系统故障系统优化；对系统问题的咨询服务；其它必须的技术服务.3.2.2. 响应时间系统运行出现故障时，迅速提供技术服务，承诺2小时内给予解答，4小时提供解决方案；若有必要12小时内到达用户现场排除故障。3.2.3. 服务方式现场抢修方式；远程维护（采用电话指导或远程登录）；提供专业咨询和技术支持热线；提供专门电子邮件信箱，用于技术咨询和回复。3.2.4. 服务标准现场支持软件、系统技术专家将直接到用户的现场进行故障诊断.解决出现的问题。完整的服务一到达现场后，工程师将提供连续服务，直到故障被排除、软件恢复正常运行为止。预防性的维护一工程师将定期对系统进行现场诊断，根据需要排除故障，并调整有关参数。