ChatGPT + Stable Diffusion + 百度AI + MoviePy 实现文字生成视频,小说转视频,自媒体神器!(一)

ChatGPT + Stable Diffusion + 百度AI + MoviePy 实现文字生成视频,小说转视频,自媒体神器!(一)

前言

最近大模型频出,但是对于我们普通人来说,如何使用这些AI工具来辅助我们的工作呢,或者参与进入我们的生活,就着现在比较热门的几个AI,写个一个提高生产力工具,现在在逻辑上已经走通了,后面会针对web页面、后台进行优化。

github链接 https://github.com/Anning01/TextCreateVideo
B站教程视频 https://www.bilibili.com/video/BV18M4y1H7XN/

那么从一个用户输入文本到生成视频,我分成了五个步骤来做。

其中2、3 和 4 没有关系,后期做成异步并行。

第一步、将用户输入的文本进行段落切割。

我这里默认用户输入的为txt文件,也是建议一章一章来,太大并不是不可以执行,只是时间上耗费太多,当然4080用户除外!

python 复制代码
from config import file_path


class Main:

    def txt_handle(self, filepath):
        """
        txt文件处理
        :return:
        """
        file = open(file_path + filepath, 'r')
        content = file.read().replace('\n', '')
        return content.split('。')

这里比较简单,现在也没有做前端页面,现在将文件放在指定的目录下,会将txt文件按照中文"。"来切片。后期考虑有传整本的需求,会加上数据库进行持久化,按照章节区分,按章节来生成视频。


第二步、使用chatGPT生成提示词

我ChatGPT的免费调用API次数没了,最优选肯定是原生调用ChatGPT的api,但是没有这个条件,我选择了一些提供ChatGPT的API中间商

fastapi 和 API2D

python 复制代码
from SDK.ChatGPT.FastGPT.app import Main as FM
from SDK.ChatGPT.API2D.app import Main as AM
from config import apikey, appId, ForwardKey


class Main:

    # 默认反向提升词
    negative = "NSFW,sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, bad anatomy,(long hair:1.4),DeepNegative,(fat:1.2),facing away, looking away,tilted head, {Multiple people}, lowres,bad anatomy,bad hands, text, error, missing fingers,extra digit, fewer digits, cropped, worstquality, low quality, normal quality,jpegartifacts,signature, watermark, username,blurry,bad feet,cropped,poorly drawn hands,poorly drawn face,mutation,deformed,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,extra fingers,fewer digits,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,text,error,missing fingers,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,"
    # 默认提示词
    prompt = "best quality,masterpiece,illustration, an extremely delicate and beautiful,extremely detailed,CG,unity,8k wallpaper, "

    def create_prompt_words(self, text_list: list):
        """
        生成英文提示词
        :return: [{prompt, negative, text, index},...]
        """
        # 包含着 坐标、英文提示词、英文反向提示词、中文文本 列表
        data = []
        instance_class_list = []
        if all([apikey, appId]):
            instance_class_list.append(FM())
        if ForwardKey:
            instance_class_list.append(AM())
        for index, value in enumerate(text_list):
            prompt = instance_class_list[0].prompt_generation_chatgpt(value)
            if not prompt:
                if len(instance_class_list) >= 1:
                    instance_class_list.pop(0)
                    prompt = instance_class_list[0].prompt_generation_chatgpt(value)
                    if not prompt:
                        print("------fastgpt和API2D都无法使用---------")
                        raise Exception("请检查代码")
                else:
                    print("------fastgpt和API2D都无法使用---------")
                    raise Exception("请检查代码")
            print(f"-----------生成第{index}段提示词-----------")
            data.append({
                "index": index,
                "text": value,
                "prompt": self.prompt + prompt,
                "negative": self.negative,
            })
        return data

我将两个api接口做成插件式的,并且保证一个坏了可以去使用另一个

fastGPT

python 复制代码
class Main:
    apikey = apikey
    appId = appId
    url = "https://fastgpt.run/api/openapi/v1/chat/completions"

    def prompt_generation_chatgpt(self, param):
        # 发送HTTP POST请求
        headers = {
            'Content-Type': 'application/json',
            'User-Agent': 'Apifox/1.0.0 (https://www.apifox.cn)',
            'Authorization': f'Bearer {self.apikey}-{self.appId}'
        }
        data = {
            "stream": False,
            # "chatId": "3232",
            "messages": [
                {
                    "content": '根据下面的内容描述,生成一副画面并用英文单词表示:' + param,
                    "role": "user"
                }
            ]
        }
        json_data = json.dumps(data)
        # 发送HTTP POST请求
        response = requests.post(self.url, data=json_data, headers=headers)
        result_json = json.loads(response.text)
        if response.status_code != 200:
            print("-----------FastAPI出错了-----------")
            return False
        # 输出结果
        return result_json['responseData'][0]['answer']

API2D

python 复制代码
import requests
from config import ForwardKey


class Main:
    ForwardKey = ForwardKey
    url = "https://openai.api2d.net/v1/chat/completions"

    def prompt_generation_chatgpt(self, param):
        # 发送HTTP POST请求
        headers = {
            'Content-Type': 'application/json',
            'Authorization': f'Bearer {ForwardKey}'
            # <-- 把 fkxxxxx 替换成你自己的 Forward Key,注意前面的 Bearer 要保留,并且和 Key 中间有一个空格。
        }
        data = {
            "model": "gpt-3.5-turbo",
            "messages": [{"role": "user", "content": '根据下面的内容描述,生成一副画面并用英文单词表示:' + param, }]
        }
        response = requests.post(self.url, headers=headers, json=data)
        print("-----------进入API2D-----------")
        if response.status_code != 200:
            return False
        # 发送HTTP POST请求
        result_json = response.json()
        # 输出结果
        return result_json["choices"][0]["message"]["content"]
相关推荐
市象18 小时前
独家|百度副总裁尚国斌即将离职,此前统筹百度地图;行业搜索及智能体业务总经理谢天转岗IDG
百度
百度SEO专员19 小时前
百度快排技术分析的核心要素
百度
一个处女座的程序猿21 小时前
LLMs之Agent:ChatGPT Agent发布—统一代理系统将研究与行动无缝对接,开启智能助理新时代
chatgpt·agent
gptplusplus21 小时前
停止“玩具式”试探:深入拆解ChatGPT Agent的技术栈与实战避坑指南
chatgpt
WSSWWWSSW1 天前
基于模拟的流程为灵巧机器人定制训练数据
人工智能·chatgpt·机器人
DO_Community2 天前
DigitalOcean 一键模型部署,新增支持百度开源大模型ERNIE 4.5 21B
人工智能·深度学习·百度·自然语言处理·开源
一休哥助手2 天前
ChatGPT Agent架构深度解析:OpenAI如何构建统一智能体系统
人工智能·chatgpt·架构
qq_417719982 天前
免费的大模型面试辅导系列课程
人工智能·深度学习·chatgpt·面试·职场和发展·求职招聘
sculida2 天前
秋叶sd-webui频繁出现生成后无反应的问题
stable diffusion
AI探知-阿薇3 天前
智能体之变:深度解析OpenAI ChatGPT Agent如何重塑人机协作的未来
人工智能·chatgpt