Python操控HDFS

前言

Python中进行HDFS编程共有两种方法,库pyhdfs与hdfs,两个库都是直接pip安装即可。同时两个库的实现原理也是一样的,hdfs的web api接口。

pyhdfs

pyhdfs没有追加功能慎用。如果要是用追加功能,建议使用hdfs这个库。请查看第二部分 。

创建

python 复制代码
import pyhdfs

fs = pyhdfs.HdfsClient(hosts="127.0.0.1,50070", user_name="fonttian")  # 这两种连接方式都可以
# fs = pyhdfs.HdfsClient(hosts="127.0.0.1,9000", user_name="root")

展示根目录/获取namenode

python 复制代码
print("展示根目录")
print(fs.get_home_directory())

print("获取namenode")
print(fs.get_active_namenode())

查增删改-查

python 复制代码
print("展示路径")
print(fs.listdir("/"))
print("展示所有路径")
print(list(fs.walk('/original_data')))
print("判断/original_data/students2文件是否存在")
print(fs.exists('/original_data/students2'))

查增删改-增删

python 复制代码
print(fs.mkdirs("/original_data/file_folder"))
fs.copy_from_local("/home/fonttian/database/hive/job", '/original_data/job', )  # 从本地上传到hadoop上

print(fs.delete("/original_data/job2"))  # 删除文件


print(fs.mkdirs("/original_data/file_folder"))

查增删改-改

python 复制代码
print(fs.mkdirs("/original_data/file_folder"))
print(fs.rename("/original_data/file_folder", destination="/original_data/file_folder_rename"))  # 删除目录
# recursive=True
print(fs.delete("/original_data/file_folder_rename", recursive=True))  # 删除目录  recursive=True

上传下载

python 复制代码
# print("上传下载:")
fs.copy_from_local("/home/fonttian/database/hive/user.txt", '/original_data/user.txt')  # 从hadoop下载到本地
fs.copy_from_local("/home/fonttian/database/hive/job", '/original_data/job')  # 从本地上传到hadoop上
fs.copy_to_local("/original_data/user.txt", '/home/fonttian/database/hive/user_2.txt')  # 从hadoop下载到本地

hdfs

创建

python 复制代码
from hdfs import InsecureClient

hdfs_client = InsecureClient('http://127.0.0.1:50070', user='fonttian')

查询

查看状态
python 复制代码
hdfs_client.status('.')
查看目录
python 复制代码
print(hdfs_client.list("/original_data/"))

创建

python 复制代码
# 创建目录
hdfs_client.makedirs('/original_data/pyhdfs', permission=777)

删除

python 复制代码
# 删除目录
# 其他参数:delete(hdfs_path, recursive=False)
# recursive:删除文件和其子目录,设置为False如果不存在,则会抛出异常,默认为False
hdfs_client.delete('/original_data/pyhdfs', recursive=False)

上传

python 复制代码
# 上传文件
# 第一个参数,hdfs路径
# 第二个参数,本地路径
# 第三个参数,是否覆盖hdfs已有的文件

hdfs_client.upload('/original_data/pyhdfs/word.txt', '/home/fonttian/database/hive/word.txt', False)

下载

python 复制代码
# 从hdfs获取文件到本地
# client.download(hdfs_path, local_path, overwrite=False)
hdfs_client.download('/original_data/pyhdfs/word.txt', '/home/fonttian/database/hive/word_download.txt', overwrite=True)

追加

python 复制代码
#  追加数据到hdfs文件
# client.write(hdfs_path, data, overwrite=False, append=True, encoding='utf-8')
hdfs_client.write('/original_data/pyhdfs/word.txt', 'this is overwite \n', overwrite=True)
hdfs_client.write('/original_data/pyhdfs/word.txt', 'this is append ', overwrite=False, append=True, encoding='utf-8')

修改或移动

python 复制代码
# 移动或者修改文件
# client.rename(hdfs_src_path, hdfs_dst_path)
hdfs_client.rename('/original_data/pyhdfs/word.txt', '/original_data/pyhdfs/word_2.txt')
相关推荐
赵大仁17 分钟前
Agent 工具调用可靠性:超时、重试、幂等与人工确认怎么设计
python·agent·幂等·工具调用·人工确认
eggwyw1 小时前
linux下的C\C++多进程多线程编程实例详解
开发语言·c++
布莱克6051 小时前
Swift 枚举详解:从基础语法到关联值与模式匹配
开发语言·ios·swift·枚举
__underline__1 小时前
冷门Python知识点007篇:list[int]不是类,为什么能当基类?
后端·python
Dmz丶1 小时前
前端转 AI 100 天 Day 49:文档切分——RAG 效果的隐形开关
python
布莱克6052 小时前
Swift 闭包详解:从语法到实战的完整指南
服务器·开发语言·ios·ssh·swift·闭包
青少儿编程课堂2 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
小七在进步3 小时前
string的实现(3)
开发语言·c++·笔记·visual studio
Starry-sky(jing)3 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
2601_967979123 小时前
“Python,就是新的 BASIC!”
python·编程语言·历史·basic·比较