AWS Glue任务中使用一个dynamic frame数据过滤另外一个dynamic frame数据

问题

需要使用其中一个df过滤另外一个df

pyspark

legislators_combined = orgs.join(
    paths1=["org_id"], paths2=["organization_id"], frame2=persons_memberships
).drop_fields(["organization_id"])

orgs和persons_memberships都是dynamic frame。这里使用persons_memberships来筛选orgs的数据，最后一步是删掉不想要的字段。

参考

• DynamicFrame class