大数据毕业设计选题推荐-系统运行情况监控系统-Hadoop-Spark-Hive

作者主页 :IT毕设梦工厂✨

个人简介:曾从事计算机专业培训教学,擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。

☑文末获取源码☑
精彩专栏推荐 ⬇⬇⬇
Java项目
Python项目
安卓项目
微信小程序项目

文章目录

一、前言

随着信息化时代的快速发展,大数据技术广泛应用于各个领域,包括金融、政务、教育等。在大数据系统的运行过程中,系统运行情况监控系统显得尤为重要。它可以帮助我们更好地理解数据,预判潜在风险,提高系统稳定性,进一步优化系统性能。因此,本课题旨在研究一个基于大数据的系统运行情况监控系统,解决现有解决方案存在的问题,提高分析效率和准确性。

目前,虽然已经存在一些系统运行情况监控工具,但它们普遍存在以下问题:

稳定性低:许多工具在处理大量数据时容易崩溃或出现故障,导致分析过程的不稳定。

可维护性差:一些工具缺乏便捷的维护机制,使得长期使用时问题不断,给运维人员带来巨大压力。

处理能力有限:面对海量数据,一些工具的处理能力显得力不从心,无法满足实时分析的需求。

这些问题使得现有解决方案无法满足日益增长的大数据系统的需求,因此,本课题的研究显得尤为重要。

本课题将研究一个基于大数据的系统运行情况监控系统,主要实现以下功能:

物理使用情况:分析系统的硬件资源使用情况,如CPU、内存、磁盘等。

虚拟资源情况:分析系统的虚拟资源使用情况,如虚拟机数量、虚拟内存等。

组件集群数控单位时间采集量:分析系统各组件集群的单位时间采集量。

服务组件健康情况:监测系统各服务组件的健康状况,及时发现异常。

各应用系统资源使用情况排行:对各应用系统的资源使用情况进行排名和分析。

通过实现这些功能,本课题旨在达到以下目的:

提高系统稳定性:通过便捷的监测和分析,提前发现潜在风险,减少系统故障的发生,提高系统稳定性。

增强系统可视性:提供直观的可视化界面,使运维人员能够更方便地了解系统运行状况。

降低运维成本:通过实时监测和分析,可以提前发现潜在问题,减少不必要的运维成本。

本课题的研究意义在于为大数据系统的运维人员提供一个便捷、稳定、可维护的系统运行情况监控系统。通过本课题的研究,我们可以提高系统稳定性,增强系统可视性,降低运维成本,进一步优化系统性能。

二、开发环境

  • 大数据技术:Hadoop、Spark、Hive
  • 开发技术:Python、Django框架、Vue、Echarts、机器学习
  • 软件工具:Pycharm、DataGrip、Anaconda、VM虚拟机

三、系统界面展示

  • 系统运行情况监控系统界面展示:





四、部分代码设计

  • 系统运行情况监控系统项目实战-代码参考:
java(贴上部分代码) 复制代码
#pfile = 'h_dic.pkl'
localip = sys.argv[1]
#初始化
host_status = {}  #定义一个存储主机状态的空字典
f = open('cache/client.txt')  #打开主机列表文件
while True:
    line = f.readline().split()  #读取文件,把每一行用空格分成一个列表
    if len(line) == 0:break    #读到空之后跳出循环
    host_status[line[0]] = []   #{"ip地址":[列表]}  初始化主机状态字典
f.close()

class myMonitorHandler(SocketServer.BaseRequestHandler):  #继承SocketServer.BaseRequestHandler
    def handle(self):  #
        recv_data = self.request.recv(1024)  #接受的数据
        if self.client_address[0] == localip:   #如果是本机发送的包则pickle.dump数据
            pfile = 'h_dic.pkl'
            fp = file(pfile, 'wb')
            pickle.dump(host_status, fp)
            fp.close()
        if self.client_address[0] in host_status.keys():    #发送消息的客户端ip如果属于host_status的key列表
            if recv_data != "up":
                status_list = recv_data.split(",")  #把字符串转换成列表
                a = status_list[0]    # cpu
                i = a.replace('"','')
                b = str(int(status_list[1]) / 1024) + 'M'    # mem
                c = str(int(status_list[2]) / 1024) + 'M'    # mem free
                d = str(int(status_list[3]) / 1024) + 'M'    # swap
                e = str(int(status_list[4]) / 1024) + 'M'    # swap free
                f = str(int(status_list[5]) / 1024) + 'M'    # disk
                g = str(int(status_list[6]) / 1024) + 'M'    # disk free
                h = re.findall(r'\)\s(.*)',status_list[7])[0]    #day
                #h = status_list[7]
                j = status_list[8] # uptime
                conn = connect(gedb)  # 连接sqldb,没有则新建一个
                # id integer primary key,ip text,cpu text,mem text,swap text,disk text,uptime text
                conn.execute("update server set cpu='%s',mem='%s',memfree='%s',swap='%s',swapfree='%s',disk='%s',diskfree='%s',day='%s',uptime='%s' where ip = '%s'"%(i,b,c,d,e,f,g,h,j,self.client_address[0]))
                conn.commit()    # 执行
                conn.close()    # 关闭连接
            else:
                host_status[self.client_address[0]].append((datetime.datetime.now(),recv_data))   #就把发送时间和数据放入字典的列表中
                #print "From %s : %s %s" % (self.client_address, datetime.datetime.now(), recv_data)
        else:
            #print "sorry,ip %s is not in the monitor" % self.client_address[0]
            pass    #不做任何处理,今后可以做个iptables的禁止处理
			#或者直接在初始化阶段就将允许列表加入iptables其他ip禁止访问端口
        #for t,m in host_status.items():
            #print t,m  #输出内容的,可以注释掉

if __name__ == "__main__":
    host,port = '', 18000
    server = SocketServer.ThreadingTCPServer((host,port),myMonitorHandler)
    server.serve_forever()
java(贴上部分代码) 复制代码
if len(sys.argv) < 2:
    sys.exit(1)

a = sys.argv[1]
b = sys.argv[2]

def get_dump(a, b):
    host,port = a, b
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.connect((host, port))
    s.send("up")
    s.close()

#def load_data_time():
get_dump(a, int(b))
f = file('h_dic.pkl', 'rb')
host_status = pickle.load(f)  #把pickle后的数据还原为字典

for h,m in host_status.items():
#print h,m[-1][0]
    if len(m) != 0:
        oldtime = m[-1][0]
        time_diff = (datetime.now() - oldtime).seconds
        if time_diff > 30:
            print "No data received from %s for %s,check!" % (h,time_diff)
        else:
            print h,(datetime.now() - oldtime).seconds


#get_dump(a, int(b))
#load_data_time()
#time.sleep(20)
    

五、论文参考

  • 计算机毕业设计选题推荐-系统运行情况监控系统-论文参考:

六、系统视频

系统运行情况监控系统-项目视频:

大数据毕业设计选题推荐-系统运行情况可视化分析-Hadoop

结语

大数据毕业设计选题推荐-系统运行情况监控系统-Hadoop-Spark-Hive

大家可以帮忙点赞、收藏、关注、评论啦~
源码获取:私信我

精彩专栏推荐 ⬇⬇⬇
Java项目
Python项目
安卓项目
微信小程序项目

相关推荐
PersistJiao37 分钟前
在 Spark RDD 中,sortBy 和 top 算子的各自适用场景
大数据·spark·top·sortby
2301_811274311 小时前
大数据基于Spring Boot的化妆品推荐系统的设计与实现
大数据·spring boot·后端
Yz98761 小时前
hive的存储格式
大数据·数据库·数据仓库·hive·hadoop·数据库开发
青云交1 小时前
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
大数据·数据清洗·电商数据·数据整合·hive 数据导入·多源数据·影视娱乐数据
lzhlizihang1 小时前
python如何使用spark操作hive
hive·python·spark
武子康1 小时前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs
武子康1 小时前
大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本
java·大数据·数据仓库·hive·hadoop·mysql
时差9531 小时前
Flink Standalone集群模式安装部署
大数据·分布式·flink·部署
锵锵锵锵~蒋1 小时前
实时数据开发 | 怎么通俗理解Flink容错机制,提到的checkpoint、barrier、Savepoint、sink都是什么
大数据·数据仓库·flink·实时数据开发
二进制_博客1 小时前
Flink学习连载文章4-flink中的各种转换操作
大数据·学习·flink