项目——负载均衡OJ

项目要实现的一个整体的功能：

编写一个在线OJ网络服务器,只实现类似 leetcode 的题目列表+在线编程功能

项目宏观结构:

Oj服务器在收到提交的代码时，把代码负载均衡的选择发送给其他几个编译与运行服务器去编译运行代码，判断代码的编译运行结果

comm : 公共模块
compile_server : 编译与运行模块
oj_server : 获取题目列表，查看题目编写题目界面，负载均衡，其他功能

所用技术与开发环境

所用的技术：

C++ STL 标准库

Boost 准标准库(字符串切割)

cpp-httplib 第三方开源网络库

ctemplate 第三方开源前端网页渲染库

jsoncpp 第三方开源序列化、反序列化库

负载均衡设计

多进程、多线程

MySQL C connect

Ace前端在线编辑器(了解)

html/css/js/jquery/ajax (了解)

所用环境

ubuntu 20.04 云服务器

vscode

MySQL Workbench

项目编写思路：

先编写 compile_server
oj_server
version1 基于文件版的在线OJ
前端的页面设计
version2 基于 MySQL 版的在线OJ

编译运行服务器

先编写 compile_server

1、compile.hpp实现编译功能

通过类的封装实现，创建对象来调用里面的函数来实现编译功能

接收到一个代码文件，然后把他编译为可执行代码，如果出错把错误放到创建的重定向临时错误文件中。

编译成功返回true错误返回false

过程中还实现了：拼接文件路径和后缀、判断文件是否存在、获取时间戳、日志

公共模块

util.hpp（工具类）:

1、文件路径功能，在编译、运行的函数中，参数只需要传入一个文件名，路径和后缀根据不同功能而拼接，就能找到打开相应的文件

cpp 复制代码

const std::string temp_path="./temp/";//文件都会创建在这个目录下
    //构建文件路劲和后缀的工具
    class PathUtil
    {
        public:
        //添加路劲和后缀的公共方法：
        static std::string AddSuffix(const std::string &file_name,const std::string suffix)
        {
            std::string path_name=temp_path;
            path_name+=file_name;
            path_name+=suffix;
            return path_name;

        }

        //编译时需要的临时文件
        //构建源文件路径+后缀的完整文件名
        static std::string Src(const std::string &file_name)
        {
            return AddSuffix(file_name,".cpp");
        }
        //构建可执行程序的完整路径+后缀名
        static std::string Exe(const std::string &file_name)
        {
            return AddSuffix(file_name,".exe");
        }
        //构建该程序编译对应的标准错误完整的路径+后缀名
        static std::string CompilerError(const std::string &file_name)
        {
            return AddSuffix(file_name,".compile_error");

        }


        //运行时需要的临时文件
        //标准输入
        static std::string Stdin(const std::string &file_name)
        {
            return AddSuffix(file_name,".stdin");

        }
        //标准输出
        static std::string Stdout(const std::string &file_name)
        {
            return AddSuffix(file_name,".stdout");
        }
        //构建该程序运行对应的标准错误完整的路径+后缀名
        static std::string Stderr(const std::string &file_name)
        {
            return AddSuffix(file_name,".stderr");

        }

    };

2、文件工具： class FileUtil

①、判断文件是否存在 ------用于编译完成之后，判断有没有生成可执行文件，生成了就成功，没有就失败

系统调用stat获取文件的属性，获取成功返回0；否则失败

3、时间工具：

获取时间戳共日志使用，获取毫秒级时间戳供原子性形成文件名使用

日志功能

通过out<<流的特性

以上准备工作都做了，就可以编写编译功能compile.hpp

标准错误文件重定向，子进程程序替换实现编译，形成.exe可执行文件判断成功与否

实现运行功能模块

1、传入的值：file_name、cpu_limit、cpu_limit 返回值为Int

首先根据file_name 调用拼接函数，分别拼接出exe、in、out、err、可执行文件，标准输入，标准输出，标准错误的文件名，因为exe文件是编译的时候就创建的，所以我们不用再创建，其他的文件通过打开没有就创建的方式创建。然后重定向为，标准输入，标准输出，标准错误。之后再根据传入的

cpu_limit、cpu_limit设置资源限制，然后创建子进程替换，执行exe文件，父进程等待，执行结果成功会放入.out文件，失败会放入.err文件中。运行模块不关心结果，只关心退出时父进程接收到的信号，信号>0,运行处异常，信号==0运行成功，return -1服务器内部错误

图：

首先运行后的结果要重定向到标准输出文件，运行出错的结果要重定向到标准错误，

cpp 复制代码

//运行编译成功的程序
/******************************* *
*1、代码跑完，结果正确
*2、代码跑完，结果不正确
*3.代码没跑完，异常了
*思考：Run模块不需要考虑代码跑完，结果的正确与否
*结果的正确与否，是由调用层的测试用例决定的
*所以此模块我们只需判断是否正确运行完毕

*我们必须知道可执行程序是谁------通过拼接就能找到
*程序在启动时，默认打开的文件：
*标准输入：不做处理
*标准输出：运行完后输出的结果
*标准错误：运行是的错误信息
******************************* */
//拼接出各种同名不同缀的文件路径
           std::string _execute=PathUtil::Exe(file_name);
            std::string _stdin=PathUtil::Stdin(file_name);
            std::string _stdout=PathUtil::Stdout(file_name);
            std::string _stderr=PathUtil::Stderr(file_name);

            //打开这几个临时文件没有就创建，并且把他们重定向
            umask(0);
            int _stdin_fd=open(_stdin.c_str(),O_CREAT|O_RDONLY,0644);
            int _stdout_fd=open(_stdout.c_str(),O_CREAT|O_WRONLY,0644);
            int _stderr_fd=open(_stderr.c_str(),O_CREAT|O_WRONLY,0644);
            if(_stdin_fd<0||_stdout_fd<0||_stderr_fd<0)
            {
                LOG(ERROR)<<"运行时打开标准文件失败"<<"\n";
                //任何一个打开失败都结束
                return -1;
            }

设置资源限制------防止用户提交的代码死循环，或者是恶意代码，------ setrlimit资源限制来保护服务器

cpp 复制代码

//提供设置进程占用资源大小的接口
         static  void SetProcLimit(int cpu_limit,int mem_limit)
         {
            //设置CPU限制时长
            struct rlimit cpu_rlimit;
            cpu_rlimit.rlim_cur=cpu_limit;
            cpu_rlimit.rlim_max=RLIM_INFINITY;//硬约束无约束
            setrlimit(RLIMIT_CPU,&cpu_rlimit);

            //设置内存大小限制
            struct rlimit mem_rlimit;
            mem_rlimit.rlim_cur=mem_limit*1024;//*1024转化为KB
            mem_rlimit.rlim_max=RLIM_INFINITY;
            setrlimit(RLIMIT_AS,&mem_rlimit);
         }

程序替换运行代码：运行完成结果保存在重定向的标准输入中，运行时出异常或者资源约束超出限制收到信号，

cpp 复制代码

 //程序替换
                execl(_execute.c_str()/*要执行谁*/,_execute.c_str()/*我想在命令行上如何执行该程序*/,nullptr);
                exit(1);
            }
            else
            {
                //父进程
                close(_stdin_fd);
                close(_stdout_fd);
                close(_stderr_fd);

                //不关心退出码，只关心退出结果
                int status=0;//接收退出时的信号
                waitpid(pid,&status,0);
                //程序运行异常，一定是因为收到了信号
                LOG(INFO)<<"运行完毕，info:"<<(status & 0x7F)<<"\n";
                return status & 0x7f;

总代码：