Hadoop自带安全工具和专业数据安全审计,对比太明显!

发布时间:2018-09-01 作者:昂楷科技

信息产业(IT)发展至今,计算作为主要工作之一就是处理各种类型和各种来源的数据。大数据(BigData)是一种规模庞大的数据集合,一般单台计算机的能力范围无法对数据集进行获取、存储、管理和分析。因此大数据又和云计算、分布式集群密不可分。


在分布式环境中进行大数据处理,除了与存储系统外,还要涉及到计算任务的分工和分配、集群的负载均衡、数据的迁移转化等工作。这就需要有统一的框架来负担这项任务,也就是平时所说的大数据框架。


Hadoop是目前大数据使用最广泛的框架之一,其数据库HBase是采用分布式文件系统核心技术的新型NoSql数据库,也是俗称的大数据数据库。该数据库有丰富的Sql及NoSql工具及对外开放的软件接口,就像Caché数据库一样需要进行全面的监控审计。


那么Hadoop自身的安全控制工具能否完成安全监控功能呢?接下来将会详细介绍。


Hadoop自带安全控制工具介绍


最初的Hadoop中并没有安全模型,它不对用户或服务进行验证,也没有数据隐私。因为Hadoop被设计成在分布式的设备集群上执行代码,任何人都能提交代码并得到执行。


尽管在较早的版本中实现了审计和授权控制(HDFS文件许可),然而这种访问控制很容易避开,因为任何用户只需要做一个命令行切换就可以模拟成其他任何用户。这种模拟行为非常普遍,大多数用户都会,所以这一已有的安全控制其实没起到什么作用。


随着Hadoop版本的不断迭代,安全机制也在不断的更新升级,目前已经出现的安全机制总结有如下方面:


1、用Kerberos RPC (SASL/GSSAPI) 在RPC连接上做相互认证

2、为HTTP Web控制台提供“即插即用”的认证

3、用于数据块访问控制的块访问令牌

4、用作业令牌强制任务授权.......


但当前Hadoop依然面临着安全挑战,如:如何对事件进行跟踪和审计?如何跟踪数据的出处?使用过程是否合理?



Hadoop自带的日志工具能记录哪些日志内容?


根据Hadoop框架自身的日志记录,我们分析了它的日志内容,其中包含:操作的编号、操作类型、安全级别、开始时间、结束时间、用户IP、用户、主机(无数据)、服务(无数据)、实例(无数据)、操作结果、操作内容。


Hadoop的日志是否能帮助管理者多维度、清晰、快速分析和判断一个事件是否异常?显然有待验证。作为一家专业的大数据安全厂家,我们同时也在考虑和提供对应的解决方案。



专业的大数据安全审计系统能审计到什么深度?


专业大数据安全审计系统应能够全面实现对数据库(如Hadoop架构下Hbase数据库)的各类操作行为进行安全监控,支持对各类访问接口(如JDBC、JAVA  API、REST API等)及对各类工具组件(如HIVE\Solr等)的安全监控与防护。审计效果应涵盖工具及各类接口的审计


昂楷大数据安全审计系统的特性:


1、支持Hbase、MongoDB、Caché、Solr等非结构化数据库(NOSQL)审计,同时支持Oracle、Mysql、MS-SQL、人大金仓等国内外主流关系型数据库审计。


2、组件与接口审计支持


支持HDFS、Hive、Phoenix、Java API、JDBC API、REST API等众多大数据平台相关组件及接口的审计,实现大数据架构全面完整审计。


3、完备的双向审计


通过对双向数据包的解析、识别及还原,既能对数据库操作请求进行实时审计,同样能对数据库系统返回结果进行全面审计。


4、审计记录检索快速高效


利用先进的全文检索技术,可通过任意关键字实现海量审计记录快速高效检索,达到亿条数据秒级响应。


5、定向行为分析,事件溯源取证


构建事件关联性,通过模拟回放,还原事件场景,模拟出整个事件的行动轨迹,直观的追溯事件的前后关联性,再现操作过程,进行电子取证。


6、隐秘数据处理


对审计结果中敏感数据隐秘,非授权的用户不能正常查看隐秘数据,防止重要数据在数据库审计设备中导致的二次泄密问题。


7、事件告警


可以根据不同风险级别,通过短信、邮件、SNMP等多种途径实时告警,方便安全管理员及时处理。


8、多维度报表


内置特权操作、异常分析、访问源等多种报表类型,同时支持多条件组合自定义报表生成。通过多维度报表的统计分析,可快速准确发现潜在安全威胁,为采用更具有针对性安全策略提供数据支撑。


产品优势

全面支持Hadoop架构下HBase数据库及相关组件审计,具有成功的大型商用案例经验;

系统内置AI技术,采用机器学习,实现智能建模;

亿级数据,秒级检索;

电信级数据处理能力高并发承载保障。


返回上一级

400-622-8990