用AI制作历史解说视频:GPT + MidJourney + PiKa + FunSound + 剪映

1. 项目介绍

最近某站看到一个看到利用AI创作视频解说,成品画面很酷炫。对此以初学者视角进行复现,创意来源:用AI制作历史解说视频


2. 开始创作

我们参照原作者展示的内容,对古代人物屈原来生成解说视频。

2.1 故事脚本+分镜 【由GPT-4o支持】

2.1.1 生成分镜

GPT对话:

以屈原人物解说为主题,写一个具有传奇色彩和反差感的人物传记故事脚本,一共涵盖10个分镜(包含画面和旁白)

2.1.2 细化内容(面向文生图)

GPT对话:

依次对十个分镜生成画面描述,用于midjourney绘图,并翻译成英文

初步得到优质的画面描述英文版

2.2 文生图【由MidJourney支持】

输入英文描述,

/Imagine promot[描述]

这里得到场景1生成的图片

接下来我们需要根据第一张图片确定人物形象风格,来保证后续人物的一致性,获取该图片的链接用于后续场景图片生成的参数

对于后续图片的人物一致性,MidJourney 提供 "--cref <url>" 参数进行人物描绘参考

挑选了10张

2.3 图生视频【由PiKa支持】

上传图片到pika,Strength of motion 设置为2,增加动感

效果如下

全部视频生成完毕,开始剪辑

2.4 语音旁白【由Funsound支持】

这里为每个旁边生成语音

2.5 语音视频长度对齐

因为生成的视频和生成的音频长度不对等,这里我们需要保持音频长度不变,对视频帧率进行调整,长度一致后合成,顺便添加中文字幕。

参考我另一篇博客 音视频对齐,这里我给出python批量处理脚本

python 复制代码
import os
from av_alignment import sync_audio_video_add_subtitle

def process(audio_dir,
            video_dir,
            text_file,
            output_dir,
            output_list_file,
            font_path="./NotoSansCJKsc-Regular.ttf"):

    if not os.path.exists(output_dir):os.makedirs(output_dir)
    if os.path.exists(output_list_file):os.remove(output_list_file)

    audio_list = os.listdir(audio_dir)
    video_list = os.listdir(video_dir)
    text_list = open(text_file,'rt',encoding='utf-8').readlines()
    audio_list.sort()
    video_list.sort()

    i = 1
    f = open(output_list_file,'a+')
    for audio_file,video_file,text in zip(audio_list,video_list,text_list):
        audio_file = os.path.join(audio_dir,audio_file)
        video_file = os.path.join(video_dir,video_file)
        text = text.strip()
        out_file = '%s/%08d.mp4'%(output_dir,i)
        print("audio_file:",audio_file)
        print("video_file:",video_file)
        print("text:",text)

        sync_audio_video_add_subtitle(audio_path=audio_file,
                                      video_path=video_file,
                                      subtitle_text=text,
                                      output_path=out_file,
                                      font_path=font_path,
                                      font_size=30, # 设置字体大小
                                      font_color=(255, 255, 255), # 设置字体颜色
                                      subtitle_bottom_margin=80)
        i += 1
        print(f"{out_file}",file=f)
    f.close()

if __name__ == "__main__":

    audio_dir = r"C:\Users\60568\Pictures\create\屈原\mp3"
    video_dir = r"C:\Users\60568\Pictures\create\屈原\mp4"
    text_file = r"C:\Users\60568\Pictures\create\屈原\subtitle.txt"
    output_dir = "./sync"
    output_list_file="./sync.txt"
    output_video_file = "./output.mp4"

    # 音视频对齐
    process(audio_dir,
            video_dir,
            text_file,
            output_dir=output_dir,
            output_list_file=output_list_file)

2.6 视频融合润色【由剪映支持】

将所有片段对齐好后,在剪映上进行对齐并配上bgm,然后导出完整视频

3. 成品展示

写到这终于完成了第一个ai视频的创作,比较粗糙,来看看成品吧:一分钟了解历史人物屈原

欢迎大家提出建议,感谢大家关注,博主会持续更新有趣的技术内容。

4.参考

https://www.bilibili.com/video/BV1im411m7UF/?spm_id_from=333.880.my_history.page.click\&vd_source=3f579fa4291151f1bdf85bf803ae2d3f

https://mmmnote.com/article/7e8/03/article-ed3f6a082982ceb0.shtml

https://www.funsound.cn

https://blog.csdn.net/Ephemeroptera/article/details/139553597?spm=1001.2014.3001.5502

相关推荐
TGITCIC2 小时前
AI Agent竞争进入下半场:模型只是入场券,系统架构决定胜负
人工智能·ai产品经理·ai产品·ai落地·大模型架构·ai架构·大模型产品
斐夷所非4 小时前
人工智能 AI. 机器学习 ML. 深度学习 DL. 神经网络 NN 的区别与联系
人工智能
Funny_AI_LAB5 小时前
OpenAI DevDay 2025:ChatGPT 进化为平台,开启 AI 应用新纪元
人工智能·ai·语言模型·chatgpt
深瞳智检6 小时前
YOLO算法原理详解系列 第002期-YOLOv2 算法原理详解
人工智能·算法·yolo·目标检测·计算机视觉·目标跟踪
深眸财经6 小时前
机器人再冲港交所,优艾智合能否破行业困局?
人工智能·机器人
小宁爱Python6 小时前
从零搭建 RAG 智能问答系统1:基于 LlamaIndex 与 Chainlit实现最简单的聊天助手
人工智能·后端·python
湖南人爱科技有限公司7 小时前
RaPhp和Python某音最新bd-ticket-guard-client-data加密算法解析(视频评论)
android·python·php·音视频·爬山算法·raphp
新知图书7 小时前
Encoder-Decoder架构的模型简介
人工智能·架构·ai agent·智能体·大模型应用开发·大模型应用
大模型真好玩8 小时前
低代码Agent开发框架使用指南(一)—主流开发框架对比介绍
人工智能·低代码·agent
tzc_fly8 小时前
AI作为操作系统已经不能阻挡了,尽管它还没来
人工智能·chatgpt