AWS Glue任务中使用一个dynamic frame数据过滤另外一个dynamic frame数据

问题

需要使用其中一个df过滤另外一个df

pyspark

python 复制代码
legislators_combined = orgs.join(
    paths1=["org_id"], paths2=["organization_id"], frame2=persons_memberships
).drop_fields(["organization_id"])

orgs和persons_memberships都是dynamic frame。这里使用persons_memberships来筛选orgs的数据,最后一步是删掉不想要的字段。

参考

相关推荐
2601_967980111 小时前
python pytest如何编写测试
python·测试用例·pytest·函数·assert
2601_967980112 小时前
Python中heapq模块的各种用法实例
数据结构·python·算法·应用实例·heapq模块
大胖爱学习_MJ2 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
RobinDevNotes2 小时前
24GB Mac 做数字人:声音放本地,画面租云端
人工智能·python·macos·开发工具
吃我一窝jio2 小时前
Java博客极简写作三支柱
java
知识搬运临时工2 小时前
双路服务器跑得比单路慢:JVM 没看见内存的距离
java·后端
吃我一窝jio3 小时前
Java Bug复盘与性能优化实战
java·开发语言·笔记
Flynn Liang3 小时前
Java 序列化也能成为瓶颈:Jackson、Protobuf 与 Redis 序列化的生产实践
java·redis·性能优化·jackson·序列化·protobuf
Yeats_Liao3 小时前
物联网平台优化系列(三):全局懒加载吞掉 MQTT 初始化
java·物联网·struts
千寻技术帮3 小时前
基于Spring Boot+Vue的农产品销售管理系统(源码+文档+数据库,附部署教程)
java·数据库·spring boot·后端·mysql·vue