MapReduce编程——矩阵乘法(Python版本)

数据格式

  • 对于矩阵元素 A i j A_{ij} Aij,将其处理为 < i , j , M a t r i x N a m e , v a l u e > <i,j,MatrixName,value> <i,j,MatrixName,value>的四元组格式,例如矩阵[[2, 1, 3, 4], [10, -8, 7, 2], [9, 1, 6, -2]]可被转化为如下形式

    python 复制代码
    1 1 A 2
    1 2 A 1
    1 3 A 3
    1 4 A 4
    2 1 A 10
    2 2 A -8
    2 3 A 7
    2 4 A 2
    3 1 A 9
    3 2 A 1
    3 3 A 6
    3 4 A -2

程序说明

  • 假设有矩阵 A m × q A_{m \times q} Am×q与 B q × n B_{q \times n} Bq×n相乘,且矩阵 A A A与 B B B都被转化为了以上格式存储在一个txt文件中

Map函数

  • Map函数接收一个四元组 < i , j , M a t r i x N a m e , v a l u e > <i,j,MatrixName,value> <i,j,MatrixName,value>作为输入,对于 A i j A_{ij} Aij返回键值对 < < i , k > , < A , j , v a l u e > > ( k = 1 , 2 , 3 , . . . , n ) <<i,k>,<A,j,value>>(k=1,2,3,...,n) <<i,k>,<A,j,value>>(k=1,2,3,...,n);对于 B i j B_{ij} Bij返回键值对 < < k , j > , < B , i , v a l u e > > ( k = 1 , 2 , 3 , . . . , m ) <<k,j>,<B,i,value>>(k=1,2,3,...,m) <<k,j>,<B,i,value>>(k=1,2,3,...,m)

Reduce函数

  • Reduce函数接收shuffle后得到的键值对 < < i , k > , < < 来自 A 的第 i 行 > , < 来自 B 的第 k 列 > > > <<i,k>,<<来自A的第i行>,<来自B的第k列>>> <<i,k>,<<来自A的第i行>,<来自B的第k列>>>,此时只需使得A与B中对应的元素相乘再相加即可得到结果 C i j C_{ij} Cij

代码

python 复制代码
# 文件命名为matmul.py,矩阵数据写在matrix.txt文件中
from mrjob.job import MRJob
import numpy as np

# M为矩阵A的行数,N为矩阵B的列数
M, N = 3, 3

class MatrixMultiplication(MRJob):
    def mapper(self, _, line):
        # 根据数据的格式,解析输入并区分矩阵A和矩阵B的元素
        # 假设输入格式为 (i, j, matrix_name, value)
        i, j, matrix_name, value = line.split()

        if matrix_name == 'A':
            for k in range(1, N+1):
                yield (int(i), k), (matrix_name, int(j), int(value))
        else:
            for k in range(1, M+1):
                yield (k, int(j)), (matrix_name, int(i), int(value))

    def reducer(self, key, values):
        A_set, B_set = [], []
        for v in values:
            if v[0] == 'A':
                A_set.append(v)
            else:
                B_set.append(v)

        res = 0
        for v1 in A_set:
            for v2 in B_set:
                if v2[1] == v1[1]:
                    res += v1[2]*v2[2]
                    break
        yield key, res

if __name__ == '__main__':
    MatrixMultiplication.run()
    print("np:", np.matmul(np.array([[2, 1, 3, 4], [
          10, -8, 7, 2], [9, 1, 6, -2]]), np.array([[3, 2, -8], [1, 5, 2], [4, -7, 3], [4, 1, -7]])))

运行命令

python 复制代码
python matmul.py -r inline matrix.txt
相关推荐
呵呵哒( ̄▽ ̄)"5 分钟前
线性代数:同解(1)
python·线性代数·机器学习
SweetCode11 分钟前
裴蜀定理:整数解的奥秘
数据结构·python·线性代数·算法·机器学习
程序员Linc23 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
CryptoPP23 分钟前
springboot 对接马来西亚数据源API等多个国家的数据源
spring boot·后端·python·金融·区块链
xcLeigh31 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
大乔乔布斯31 分钟前
AttributeError: module ‘smtplib‘ has no attribute ‘SMTP_SSL‘ 解决方法
python·bash·ssl
明灯L44 分钟前
《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》
经验分享·python·算法·链表·经典例题
databook1 小时前
不平衡样本数据的救星:数据再分配策略
python·机器学习·scikit-learn
碳基学AI1 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
niuniu_6661 小时前
简单的自动化场景(以 Chrome 浏览器 为例)
运维·chrome·python·selenium·测试工具·自动化·安全性测试