【Python机器学习】Hadoop流

Hadoop是一个开源的Java项目,为运行MapReduce作业提供了大量所需的功能。除了分布时计算之外,Hadoop自带分布式文件系统。

Hadoop可以运行Java之外的其他语言编写的分布式程序。Hadoop流很像Linux系统重的管道(管道使用符号 | ,可以将一个命令的输入作为另一个命令的输出)。如果用mapper.py调用mapper,用reducer.py调用reducer,那么Hadoop流就可以想Linux命令一样执行,例如

复制代码
cat inputFile.txt | python3 mapper.py | sort | python3 reducer.py > outputFile.txt

这样,类似的Hadoop流就可以在多台机器上分布式执行,用户可以通过Linux命令来测试python语言编写的MapReduce脚本。

分布式计算均值和方差的mapper

下面是一个在海量数据上构建的分布式计算均值和方差的MapReduce作业:

python 复制代码
import sys
from numpy import mat,mean,power

def read_input(file):
    for line in file:
        yield line.strip()

input = read_input(sys.stdin)
input=[float(line) for line in input]
numInputs=len(input)
input=mat(input)
sqInput=power(input,2)
print('%d\t%f\%f' % (numInputs,mean(input),mean(sqInput)))
print >> sys.stderr,'report: still alive'

Linux下的调用命令:

python 复制代码
cat inputFile.txt | python3 map.py

Windows系统下调用命令,在DOS窗口:

python 复制代码
python3 map.py < inputFile.txt

分布式计算均值和方差的reducer

mapper接受原始的输入并产生中间值传递给reducer。很多mapper是并行执行的,所以需要将这些mapper的输出合并成一个值。接下来是reducer的代码:将中间的key/value对进行组合:

python 复制代码
import sys
from numpy import mat,mean,power

def read_input(file):
    for line in file:
        yield line.strip()

input=read_input(sys.stdin)
mapperOut=[line.split('\t') for line in input]
cumVal=0.0
cumSumSq=0.0
cumN=0.0
for instance in mapperOut:
    nj=float(instance[0])
    cumN=cumN+nj
    cumVal=cumVal+float(instance[1])
    cumSumSq=cumSumSq+float(instance[2])
mean=cumVal/cumN
varSum=(cumSumSq-2*mean*cumVal+cumN*mean*mean)/cumN
print('%d\t%f\t%f' % (cumN,mean,varSum))
print >> sys.stderr,'report: still alive'

Linux下的调用命令:

python 复制代码
%cat inputFile.txt | python3 map.py | python3 reduce.py

Windows系统下调用命令,在DOS窗口:

python 复制代码
%python3 map.py < inputFile.txt | python3 reduce.py
相关推荐
岁月宁静6 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者6 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
starzy19908 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk5559 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界13 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)14 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
kyle~15 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端
国科安芯16 小时前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
aiotto资源分享16 小时前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
梯度下降者17 小时前
Python信号量,条件变量,事件学习
python·条件变量·事件·信号量·线程通信