aws lakeformation跨账号共享数据的两种方式和相关配置

lakeformation授权方式分为

  • 基于tag的授权
  • 基于命名资源的授权

先决条件

跨账号共享数据的先决条件(命名资源和tag授权都需要)

分两种情况

  1. 如果账户中没有glue data catalog资源策略,则LakeFormation跨账户授予将照常进行

  2. 如果存在glue data catalog基于资源策略,则需要glue如下基于资源策略,授权RAM服务共享账号下的所有资源

    json 复制代码
    {
          "Effect": "Allow",
          "Action": [
          	"glue:ShareResource"
          ],
          "Principal": {
            "Service":"ram.amazonaws.com"
          },
          "Resource": [
              "arn:aws:glue:region:account-id:table/*/*",
              "arn:aws:glue:region:account-id:database/*",
              "arn:aws:glue:region:account-id:catalog"
          ]
    }

    如果同时使用tag和命名资源授权,则需要通过命令行附加glue基于资源的策略,注意--enable-hybrid参数

    aws glue put-resource-policy --policy-in-json glue-resource-policy --enable-hybrid TRUE
    

命名资源的授权方式

需要撤销database和tables中授权条目IAMAllowedPrincipals的权限

关闭账号级别的setting设置(需要额外的PutDataLakeSettings权限)

向消费者账户授权,可以选择账号或者组织

选择指定database的所有表和所有权限,如果出现下面的报错,表明从报错信息来看,是由于 A 账号的 database 的 "Use only IAM access control for new tables in this database" 并未清除。

Error granting catalog permissions to ARNs: 797181602929. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

授权所有表之后,授权条目没有database但是能看到是为什么?

可以授予对单个表的权限,也可以通过一次授予操作来授予对数据库中所有表的权限。如果您授予对数据库中所有表的权限,则将隐式授予对数据库的 DESCRIBE 权限。然后,数据库将显示在控制台的数据库页面上

如果在此之前没有关闭setting配置,则会出现授权失败的问题,需要关闭表的setting配置

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.

如果该数据库已经和IAM_ALLOWED_PRINCIPALS关联(没有撤销),则会出现以下报错

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please revoke permission(s) for IAM_ALLOWED_PRINCIPALS on the database.

如果输出arn或账号后没有回车会出现没有选中principal的问题

Grant permissions failed
No principals selected. Please select a principal to grant permissions to.

授权成功后查看table权限出现消费者账号信息

在消费者账号的lakeformation控制台可以看到以下提示

Pending Resource Shares Alert
You have 3 pending resource share invitation(s) from Amazon Resource Access Manager (RAM). Open the RAM console  to view these invitations. For more information, see Accepting RAM invitations .

点击跳转接受请求(中国区控制台直接点击会跳转到美东区),手动跳转到Resource Access Manager服务

搜索之前分享的资源

最终的共享资源类型

在消费者账户的glue控制台已经能看到table了

此时已经能够在消费者账户找到表,但是athena查询无法找到database

在消费者账户创建database的资源链接(别名链接)

在athena中能够找到database,执行查询报错

忘记在lakeforamtion中注册location,此时尽管消费者账户能够通过lakeformation获取临时凭证,但是找不到s3数据

注册完毕后查询成功

注意事项

如果用户不是lakeformation管理员,则

  • 单纯指定账户并不能在具体的user下看到表,仅仅是创建了RAM

  • 因此需要在具体的user授权,才能看到database(此时复用了之前的RAM,不需要再接受了)

    向外部账户或组织授予权限时,必须包括可授予的权限选项。只有外部账户中的数据湖管理员才能访问共享资源,直到管理员向外部账户中的其他主体授予对共享资源的权限。

将属于另一个 Amazon 账户的数据目录资源与账户共享后,作为数据湖管理员,可以向账户中的其他主体授予对共享资源的权限。但是,不能向其他 Amazon 账户或组织授予对该资源的权限

基于LF-tag的授权方式

使用 LF-TBAC 用于以下使用案例:

  • 有大量的表和主体,数据湖管理员必须授予访问权限
  • 想根据本体对数据进行分类并根据分类授予权限
  • 数据湖管理员希望以松散耦合的方式动态分配权限

数据湖管理员具有隐式 Lake Formation 权限,可以创建、更新和删除 LF-Tag,将 LF-Tag 分配给资源,以及向主体授予 LF-Tag 权限。

基于标记的访问控制 -- 使用此方法可以将一个或多个 LF 标记分配给数据目录数据库、表和列,并将对一个或多个 LF 标记的权限授予主体

LF tag支持跨账号共享

Currently, the LF-TBAC method supports granting cross-account permissions to IAM principals, Amazon Web Services accounts, organizations, and organizational units (OUs).

database和table都有名为LF tag的标签,在这里统一管理

可以在资源上(database和table)添加LF tag

  • table默认继承database
  • column默认继承table

    授权B账号可以操作的LF tag

在B账号直接查表,正常没有问题,但是表上没有命名方式的授权条目,表示授权是通过LF tag进行的

很明显,LF tag使用上要比命名标签更加简单

可以通过命令查看tag policy的结果

  • 注意,必须是数据湖管理源才有权限,否则结果为空

    $ aws lakeformation list-permissions --resource-type LF_TAG_POLICY

    {
    "PrincipalResourcePermissions": [
    {
    "Principal": {
    "DataLakePrincipalIdentifier": "4xxxxxxxx6"
    },
    "Resource": {
    "LFTagPolicy": {
    "CatalogId": "037xxxxxxx284",
    "ResourceType": "DATABASE",
    "Expression": [
    {
    "TagKey": "testk",
    "TagValues": [
    "testv"
    ]
    }
    ]
    }
    },
    "Permissions": [
    "ALTER",
    "CREATE_TABLE",
    "DESCRIBE"
    ],
    "PermissionsWithGrantOption": [],
    "AdditionalDetails": {
    "ResourceShare": [
    "arn:aws-cn:ram:cn-north-1:03xxxxxxxxx84:resource-share/f73648ea-5c1c-47f6-a63b-db1fadb23984"
    ]
    }
    },

此外,在控制台也能看到对应的授权权限

相关推荐
huaqianzkh35 分钟前
了解Hadoop:大数据处理的核心框架
大数据·hadoop·分布式
Kika写代码1 小时前
【Hadoop】【hdfs】【大数据技术基础】实验三 HDFS 基础编程实验
大数据·hadoop·hdfs
沈艺强2 小时前
云计算在esxi 主机上创建 4g磁盘,同时在此磁盘上部署linux
云计算
okmacong3 小时前
2024.11.12_大数据的诞生以及解决的问题
大数据
Java资深爱好者5 小时前
数据湖与数据仓库的区别
大数据·数据仓库·spark
heromps5 小时前
hadoop报错找不到主类
大数据·hadoop·eclipse
未 顾7 小时前
day12:版本控制器
大数据·elasticsearch·搜索引擎
CherishTaoTao7 小时前
Git别名设置
大数据·git
Dreams°1238 小时前
【大数据测试HBase数据库 — 详细教程(含实例与监控调优)】
大数据·功能测试·单元测试