flask+ansible 打造自己的自动化运维平台

一、前言

随着企业信息化要求越来越高，云化架构带来挑战和冲击，海量设备的运维压力也是越来越大，虽然有了批量操作工具，但自动化运维工具操作主要还是依赖于手工执行（脚本小子），手工执行又存在着操作流程不规范，操作记录不可控，批量脚本不统一等多个问题，有较大风险造成人为误操作的可能。

一直以来是想做个系统来规避这些问题，前期也有过其他开发团队开发过此类产品试用，但开发不懂运维，测试起来很多问题，这些问题后来因为开发项目无法支撑流产了，也没实际用起来。

批量操作的工具，用过puppet、saltstack、ansible，管理资产超过5000+，目前在用ansible。 Ansible了解过有个官方系统tower，测试装了下，人太高大上，也不是很符合我们批量操作使用的场景。

近来时间比较充裕，学习了下python的开发框架，自己动手，按照自己的需求来开发，可以更贴合使用。以前觉得开发好难好难，真动手去做了，做个简单系统自己内部使用还是可以的~

系统中使用的框架是python flask + ansible+mysql。

整个demo系统资源也上传到了共享，大家有感兴趣的，可以自己动手玩玩~

https://download.csdn.net/download/vincent0920/88768831

二、系统设计

系统整体分7个模块：
**登录页面：**系统的入口，所有其他页面需要做登录控制，只有登录后才能使用。登录只简单做下账号密码验证，什么双因子，验证码防爆力破解的安全要求后期看需要再实现了。

**首页：**用户登录后，展示的平台整体情况，简单的图表展示，展示一些统计类，top类数据，趋势类数据。

**接入清单：**对纳管主机的管控视图，支持常规字段的查询。

**主机导入：**支持页面导入自定义主机分组，导入结果入库，页面支持主机组信息查询。

**模板页面：**自定义模板的上传页面，规定模板上传的格式，上传后支持查询。

**作业页面：**可以基于模板去配置作业，配置作业后支持查询记录，支持作业的一个测试拨测并可查询测试结果。

**作业记录：**作业正式执行的界面，带入测试的记录，支持执行按钮、异步作业和执行结果查询。

三、实现过程

项目Flask程序的目录结构如下：

ansible/

├── app.py ----flask主程序

├── blueprints ----蓝图目录各模块后台处理代码

├── config.py ----配置文件数据库等配置文件

├── decorators.py ----装饰器代码重用文件

├── exts.py ----解决循环引用的问题

├── migrations ----数据库迁移目录数据库类操作

├── models.py ----数据库模型文件数据库表初始化设置

├── mycelery.py ----异步处理的代码

├── scrtpts ----ansible 调用的脚本目录

├── static ----前台页面的静态文件 css，js，image等

└── templates ----前台页面的html模板

1、登录页面

套用的是之前学习过的一个测试项目登录页面，本来还涉及邮箱注册的功能，考虑到我这个不放在公网使用，就修改去掉了，用户账号增加通过后台录入数据。

登录需要做个登录控制，每个页面访问前需要先登录。可以设置登录装饰器如下：

def login_required(func):

    # 保留func的信息

    @wraps(func)

    # func(a,b,c)

    # func(1,2,c=3)

    def inner(*args, **kwargs):

        if g.user:

            return func(*args, **kwargs)

        else:

            return redirect(url_for("auth.login"))

    return inner

登录时校验前端提交的数据可符合要求，可通过wtforms模块。

form.py

# Form：主要就是用来验证前端提交的数据是否符合要求

class LoginForm(wtforms.Form):

    username = wtforms.StringField(validators=[Length(min=3, max=8, message="用户格式错误！")])

    password = wtforms.StringField(validators=[Length(min=6, max=20, message="密码格式错误！")])

登录模块代码：

from flask import Blueprint, render_template, jsonify, redirect, url_for, session
from exts import  db
from flask import request
import string
import random
from .forms import  LoginForm
from models import UserModel
from werkzeug.security import generate_password_hash, check_password_hash

# /auth
bp = Blueprint("auth", __name__, url_prefix="/auth")

@bp.route("/login", methods=['GET', 'POST'])
def login():
    if request.method == 'GET':
        return render_template("login.html")
    else:
        form = LoginForm(request.form)
        if form.validate():
            username = form.username.data
            password = form.password.data
            user = UserModel.query.filter_by(username=username).first()
            if not user:
                print("用户在数据库中不存在！")
                return redirect(url_for("auth.login"))
            if check_password_hash(user.password, password):
                # cookie：
                # cookie中不适合存储太多的数据，只适合存储少量的数据
                # cookie一般用来存放登录授权的东西
                # flask中的session，是经过加密后存储在cookie中的
                session['user_id'] = user.id
                return redirect("/")
            else:
                print("密码错误！")
                return redirect(url_for("auth.login"))
        else:
            print(form.errors)
            return redirect(url_for("auth.login"))

@bp.route("/logout")
def logout():
    session.clear()
    return redirect("/")

效果展示：

2、首页

主要是做个看板展示内容，包含图表，例如对主机接入的统计数字、对作业任务的统计数字、对模板的统计数字；再加上从不同维度不同图形展示趋势（散点图、柱形图、饼形图）。主要工作在前端页面设计上，后端只需匹配查询具体数值传递给前端即可。

前端中，首先定义图表展示的区间，我把分成了3部分区域，分别是标题+数字框+趋势图。其次，在趋势图这块，用的是echarts模板，有示例很好用，可参考，下载模板即插即用

Examples - Apache ECharts

效果展示：

3、接入清单（inventory）

纯查询的页面，主要是用来查询全量纳管主机的一个拨测全局情况，里面有些字段可以和cmdb进行联动，例如业务系统、系统类型、系统分类，通过关联的字段，后期也可根据这些字段做些自定义作业。

后端主要涉及一个分页实现：

page = request.args.get(get_page_parameter(), type=int, default=1)
limit=10
start = (page - 1) * limit
end = start + limit
pagadata=data.slice(start, end)
pagination=Pagination(page=page,total=data.count(), bs_version=3, prev_label="上一页", next_label="下一页", per_page=limit)
total_page = pagination.total

效果展示：

4、主机导入

导入实际是往数据库插入数据，不往主机上上传文件。再导入前先写个导入基本指导说明，导入后在页面下午展示导入过的记录情况。

导入时除了往数据库插入数据，还需要向系统中hosts文件新增主机组分组数据。

后端代码：

@bp.route('/toexcel',methods = ['GET','POST'])
@login_required
def toExcel():
    if request.method == 'POST':
        file = request.files.get('file')
        f = file.read()
        data_file = xlrd.open_workbook(file_contents=f)
        table = data_file.sheet_by_index(0)
        nrows = table.nrows
        ncols = table.ncols
        hostgroup = table.row_values(0)[1]
        with open('/etc/ansible/hosts', 'a') as file:
           file.write('['+hostgroup+']'+'\n')
        
        with open('/etc/ansible/hosts', 'a') as file:
        
         for i in range(0, nrows):
            row_date = table.row_values(i)
            ip = row_date[0]
            marktype = row_date[1]
            adduser = g.user.username
            jierudata = db.session.query(InventoryModel.jieruinfo).filter(InventoryModel.ip==ip).first()
            try:
               jieruinfo = jierudata[0]
            except TypeError:
               jieruinfo = '地址未接入'
                      
            addhost = GroupModel(ip=ip, marktype=marktype, adduser=adduser, jieruinfo=jieruinfo)
            db.session.add(addhost)
            db.session.commit()    
            file.write(ip+'\n')       

    data=GroupModel.query.filter(GroupModel.id>0) 
    page = request.args.get(get_page_parameter(), type=int, default=1)
    limit=10
    start = (page - 1) * limit
    end = start + limit
    pagadata=data.slice(start, end)
    pagination = Pagination(page=page, total=data.count(), bs_version=3, prev_label="上一页", next_label="下一页", per_page=limit)
    total_page = pagination.total
     
    return render_template("execl.html", pagination=pagination, pagadata=pagadata,total_page=total_page)

效果展示：

5、模板页面

定义好制作模板的填写要素，首先模板名得具有唯一性，后续作业是需要基于模板名制作；其次模板内容这里，目前只考虑使用ansible的testping、shell、playbook的三个模块，当执行脚本时，也会引用此处的模板内容，也就是脚本内容，例如：

当执行testping时，内容后端写死了命令格式，此处不需调用模板内容。
当执行shell时，模板内容需要填写需要操作的命令内容，例如date，后端执行就会直接调用执行date命令
当执行playbook时，此时模板内容需要填写剧本脚本名称，例如test.yml。路径统一放在script目录下。（此处考虑执行脚本的规范统一，暂不支持界面随意直接上传脚本）

后端代码：

@bp.route('/templateadd',methods = ['GET','POST'])
@login_required
def addtemp():
        f1 = request.args.get("f1")
        f2 = request.args.get("f2")
        f3 = request.args.get("f3")
        f4 = request.args.get("f4")

        if len(f1)==0 and len(f2)==0 and len(f3)==0 and len(f4)==0:
           data=TemplateModel.query.filter(TemplateModel.id>0)
        else:
           adduser = g.user.username
           addtemp = TemplateModel(tempname=f1, temptype=f2, description=f3, tempsrc=f4, createuser=adduser)
           db.session.add(addtemp)
           db.session.commit()
           data=TemplateModel.query.filter(TemplateModel.id>0) 
           
        
        page = request.args.get(get_page_parameter(), type=int, default=1)
        limit=5
        start = (page - 1) * limit
        end = start + limit
        pagadata=data.slice(start, end)
        pagination = Pagination(page=page, total=data.count(), bs_version=3, prev_label="上一页", next_label="下一页", per_page=limit)
        total_page = pagination.total
     
        return render_template("template.html", pagination=pagination, pagadata=pagadata,total_page=total_page)
              
@bp.route('/search/template')
@login_required
def search_template():
        f5 = request.args.get("f5")
        f6 = request.args.get("f6")
        f7 = request.args.get("f7")
        f8 = request.args.get("f8")
        f9 = request.args.get("f9")
        

        if len(f5)==0 and len(f6)==0 and len(f7)==0 and len(f8)==0 and len(f9)==0:
           data=TemplateModel.query.filter(TemplateModel.id>0) 
        else:      
           data=TemplateModel.query.filter(TemplateModel.tempname.like('%'+f5+'%'),TemplateModel.temptype.like('%'+f6+'%'),TemplateModel.description.like('%'+f7+'%'),TemplateModel.tempsrc.like('%'+f8+'%'),TemplateModel.createuser.like('%'+f9+'%'))
               
        page = request.args.get(get_page_parameter(), type=int, default=1)
        limit=5
        start = (page - 1) * limit
        end = start + limit
        pagadata=data.slice(start, end)
        pagination = Pagination(page=page, total=data.count(), bs_version=3, prev_label="上一页", next_label="下一页", per_page=limit)
        total_page = pagination.total

        return render_template("template.html", pagination=pagination, pagadata=pagadata,total_page=total_page)

效果展示：

6、作业页面

定义好制作作业的填写要素，首先作业名也得具有唯一性，作业需要基于模板名制作；其次需要关联前面添加的主机组（执行时调用的IP组）。

作业添加完，支持对作业的测试拨测，定义一台测试主机，要求是作业在执行前必须先执行作业测试，测试完刷新测试的标签并展示记录。

测试输出结果，可能会较多的文字输出，所以做了一个链接展示，点击后可详细展示输出内容。

这里没有直接调用ansible的api，直接是调用的command模块，系统的shell命令来执行ansible相关的命令，需要考虑的是对ansible的输出结果再做格式化的调整。

后端代码（ansible调用部分）：

          if tempname=='连通检测':        
              command = 'ansible %s -m ping -o' % groupname
              result = ""
              try:
                  result = os.popen(command).read()
              except Exception as e:
                  resultinfo=("执行Ansible脚本发生异常，异常信息：%s" % e)
              if result:
                  resultinfo=("返回结果：%s" % result)
              else:
                  resultinfo=("返回结果为空")
              
              TasktestviewModel.query.filter_by(taskname=f11).update({'resultinfo':resultinfo,'testtaginfo':testtaginfo})   
              db.session.commit()           
              data=TasktestviewModel.query.filter(TasktestviewModel.id>0)    
              
           if tempname=='命令执行':            
              command = f"ansible {groupname} -m shell -a \" {content} \" -o"
              result = ""
              try:
                  result = os.popen(command).read()
              except Exception as e:
                  resultinfo=("执行Ansible脚本发生异常，异常信息：%s" % e)
              if result:
                  resultinfo=("返回结果：%s" % result)
              else:
                  resultinfo=("返回结果为空")
              
              TasktestviewModel.query.filter_by(taskname=f11).update({'resultinfo':resultinfo,'testtaginfo':testtaginfo})   
              db.session.commit()           
              data=TasktestviewModel.query.filter(TasktestviewModel.id>0)    
 
           if tempname=='任务编排':   
              command = f"ansible-playbook ./scrtpts/{content} -e group={groupname} |sed \'s/**\*/******************************/g\'"
              result = ""
              try:
                  result = os.popen(command).read()
              except Exception as e:
                  resultinfo=("执行Ansible脚本发生异常，异常信息：%s" % e)
              if result:
                  resultinfo=("返回结果：%s" % result)
              else:
                  resultinfo=("返回结果为空")
              
              TasktestviewModel.query.filter_by(taskname=f11).update({'resultinfo':resultinfo,'testtaginfo':testtaginfo})   
              db.session.commit()           
              data=TasktestviewModel.query.filter(TasktestviewModel.id>0)    

 
           else:   
               resultinfo="该作业类型不支持"

效果展示：

7、作业记录

作业的正式执行是放在作业记录中，实现逻辑和作业测试模块基本一致，只是这个步骤中会去调用主机组信息，对主机组里所有ip去执行相应操控。

需要考虑的一个问题就是作业执行，涉及机器多时，必然ansible执行时间会比较长，此时需要去设置异步处理，flask的celery模块可以实现该功能（前提还需要安装下redis），将作业任务加到异步队列中执行，这样前端可不必等作业执行直接返回业务，等ansible执行完可以再去看执行结果即可。（celery还可去获取任务具体执行的状态，例如进行中、已完成等信息，后期可考虑再加上。）

后端代码：

Celery部分

# 创建celery对象

def make_celery(app):

  celery = Celery(app.import_name, backend=app.config['CELERY_RESULT_BACKEND'],

                  broker=app.config['CELERY_BROKER_URL'])

  TaskBase = celery.Task

  class ContextTask(TaskBase):

    abstract = True



    def __call__(self, *args, **kwargs):

      with app.app_context():

        return TaskBase.__call__(self, *args, **kwargs)

  celery.Task = ContextTask

  app.celery = celery

  # 添加任务

  celery.task(name="do_command")(do_command)

  return celery

###后台执行命令

celery -A app.celery worker --loglevel=info -P gevent --logfile="/root/celery.log" &

效果展示：

四、总结收获

一直以来从没学习过开发，到这次是做的第二个测试项目，一个人摸索着，也算是完整的做完了两个项目。从一开始觉得很难入手，到一步一步做完，最后感觉其实也不是很难，很多事就是这样，万事开头难，真正开始做起来后，就意味着你离目标就会越来越近。

也是通过这样一个实际运维需求转化的开发需求实操案例，进一步加深了对python flask的了解和使用。系统前端没有ui的美化，主打一个简（土）单（到）明（掉）了（渣）。但麻雀虽小，也算是五脏俱全了，个人测试使用应该是可以满足，很多其他方面的优化和完善内容，之后再来学习补充咯！

There are many things that can not be broken！

如果觉得本文对你有帮助，欢迎点赞、收藏、评论！