Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。
Apache Atlas是Apache基金会的孵化项目,是Hadoop生态圈的数据治理和元数据框架(Data Governance and Metadata framework)。Atlas是一套核心基础治理服务的集合,有很好的伸缩性和可扩展性,能够满足企业对Hadoop生态系统的多样性需求,并能和企业的数据生态系统集成。 Apache Atlas的架构如下图所示: 核心特性 Apache Atlas为Hadoop的元数据治理提供了以下特性: 1、数据分类 ● 为元数据导入或定义业务导向的分类注释 ● 定义,注释,以及自动捕获数据集和底层元素之间的关系 ● 导出元数据到第三方系统 2、集中审计 ● 捕获与所有应用,过程以及与数据交互的安全访问信息 ● 捕获执行,步骤,活动等操作的信息 3、搜索与血缘 ● 预定义的导航路径用来探索数据分类以及审计信息 ● 基于文本的搜索特性来快速和准确的定位相关联的数据和审计事件 ● 对数据集血缘关系的可视化浏览使用户可以下钻到操作,安全以及数据起源相关的信息 4、安全与策略引擎 ● 基于数据分类模式,属性以及角色的运行时合理合规策略 ● 基于分类-预测的高级策略定义以防止数据推导 ● 基于cell的属性和值的行/列级别的masking (责任编辑:admin) |