MapReduce编程——矩阵乘法(Python版本)

数据格式

  • 对于矩阵元素 A i j A_{ij} Aij,将其处理为 < i , j , M a t r i x N a m e , v a l u e > <i,j,MatrixName,value> <i,j,MatrixName,value>的四元组格式,例如矩阵[[2, 1, 3, 4], [10, -8, 7, 2], [9, 1, 6, -2]]可被转化为如下形式

    python 复制代码
    1 1 A 2
    1 2 A 1
    1 3 A 3
    1 4 A 4
    2 1 A 10
    2 2 A -8
    2 3 A 7
    2 4 A 2
    3 1 A 9
    3 2 A 1
    3 3 A 6
    3 4 A -2

程序说明

  • 假设有矩阵 A m × q A_{m \times q} Am×q与 B q × n B_{q \times n} Bq×n相乘,且矩阵 A A A与 B B B都被转化为了以上格式存储在一个txt文件中

Map函数

  • Map函数接收一个四元组 < i , j , M a t r i x N a m e , v a l u e > <i,j,MatrixName,value> <i,j,MatrixName,value>作为输入,对于 A i j A_{ij} Aij返回键值对 < < i , k > , < A , j , v a l u e > > ( k = 1 , 2 , 3 , . . . , n ) <<i,k>,<A,j,value>>(k=1,2,3,...,n) <<i,k>,<A,j,value>>(k=1,2,3,...,n);对于 B i j B_{ij} Bij返回键值对 < < k , j > , < B , i , v a l u e > > ( k = 1 , 2 , 3 , . . . , m ) <<k,j>,<B,i,value>>(k=1,2,3,...,m) <<k,j>,<B,i,value>>(k=1,2,3,...,m)

Reduce函数

  • Reduce函数接收shuffle后得到的键值对 < < i , k > , < < 来自 A 的第 i 行 > , < 来自 B 的第 k 列 > > > <<i,k>,<<来自A的第i行>,<来自B的第k列>>> <<i,k>,<<来自A的第i行>,<来自B的第k列>>>,此时只需使得A与B中对应的元素相乘再相加即可得到结果 C i j C_{ij} Cij

代码

python 复制代码
# 文件命名为matmul.py,矩阵数据写在matrix.txt文件中
from mrjob.job import MRJob
import numpy as np

# M为矩阵A的行数,N为矩阵B的列数
M, N = 3, 3

class MatrixMultiplication(MRJob):
    def mapper(self, _, line):
        # 根据数据的格式,解析输入并区分矩阵A和矩阵B的元素
        # 假设输入格式为 (i, j, matrix_name, value)
        i, j, matrix_name, value = line.split()

        if matrix_name == 'A':
            for k in range(1, N+1):
                yield (int(i), k), (matrix_name, int(j), int(value))
        else:
            for k in range(1, M+1):
                yield (k, int(j)), (matrix_name, int(i), int(value))

    def reducer(self, key, values):
        A_set, B_set = [], []
        for v in values:
            if v[0] == 'A':
                A_set.append(v)
            else:
                B_set.append(v)

        res = 0
        for v1 in A_set:
            for v2 in B_set:
                if v2[1] == v1[1]:
                    res += v1[2]*v2[2]
                    break
        yield key, res

if __name__ == '__main__':
    MatrixMultiplication.run()
    print("np:", np.matmul(np.array([[2, 1, 3, 4], [
          10, -8, 7, 2], [9, 1, 6, -2]]), np.array([[3, 2, -8], [1, 5, 2], [4, -7, 3], [4, 1, -7]])))

运行命令

python 复制代码
python matmul.py -r inline matrix.txt
相关推荐
博观而约取16 分钟前
Django ORM 1. 创建模型(Model)
数据库·python·django
精灵vector2 小时前
构建专家级SQL Agent交互
python·aigc·ai编程
Zonda要好好学习2 小时前
Python入门Day2
开发语言·python
Vertira2 小时前
pdf 合并 python实现(已解决)
前端·python·pdf
太凉2 小时前
Python之 sorted() 函数的基本语法
python
项目題供诗2 小时前
黑马python(二十四)
开发语言·python
晓13133 小时前
OpenCV篇——项目(二)OCR文档扫描
人工智能·python·opencv·pycharm·ocr
是小王同学啊~3 小时前
(LangChain)RAG系统链路向量检索器之Retrievers(五)
python·算法·langchain
AIGC包拥它3 小时前
提示技术系列——链式提示
人工智能·python·langchain·prompt
孟陬3 小时前
Python matplotlib 如何**同时**展示正文和 emoji
python