“ 智能体让视频创作变简单！” 源代码登录网站后，拉到最下面直接下载。
老规矩先直接看演示效果，效果不好也没必要往下在看
看完了效果还行把，那我们就直接进入实战，前言：
近期，3D古诗词绘本视频爆火，记得小时候可都是死记硬背，对于里边的意思也一知半解，后来有了绘本，有了彩色的画面，而如今，AI可以轻松让画面动起来了，也让背古诗充满了趣味性和想象力。
图：抖音相关视频数据
借着MathMind刚推出的图生视频插件的能力，我们做了一个古诗词绘本视频的demo，并提供如下图文教程和源码，开发者可直接将源码粘贴到工作流编排页面，并基于下述图文教程进行深度理解。
开发者可在此基础上，对工作流进行二创，使成品效果更佳。
一、工作流整体概览：
说明：只需输入古诗、标题、作者，点击执行，即可生成完整视频。
实现：工作流自动拆分镜、写分镜提示词、做图、写图生视频提示词、生成分镜视频、生成配音、制作封面、生成字幕，最终输出完整的视频。
二、节点配置
1、开始节点
poem：古诗
title：标题
author：作者
APEKEY：MathMind插件所需，获取地址：admin.mathmind.cn
2、拆分分镜
说明：获取古诗的每一句，输出成数组中的每一个取值
3、分镜批处理
说明：通过批处理生成每句故事对应的画面和声音。画面包括先生图、再图生视频。
输出：请将批处理体中生成的视频数组、图片数组、声音数组、图生视频任务ID数组输出。
4、生图提示词
说明：根据每一句诗让大模型写画图提示词
系统提示词：先将古诗词 {{sentence}} 翻译成大白话，再根据大白话联想画面，转换成AI绘画提示词。你要将抽象的诗句转化为具体的画面元素，提示词需要包括人物形象、背景环绕、环境光线、画面构图、拍摄角度，主角是Q版人物形象，整体画风为3D动画风格，画面色彩鲜艳，细节丰富，质感逼真，营造出温馨且富有古韵的氛围。输出仅包含生图提示词 prompt （140个字以内），不要包含其他信息。
5、图像生成
说明：根据上述画图提示词，生成图片
6、图生视频提示词
说明：视觉模型理解图片，并输出图生视频提示词
7、imgGenVideo（图生视频）
说明：根据上述图生视频提示词输出视频
8、逐一生成音频
说明：语音合成插件将每一句诗读出来，变成音频
9、串联5个taskFetchBatch
说明：因图生视频是异步处理，此时需要轮询服务器，通过串联taskFetchBath节点，达到长时间等待的目的。
输入：预估4句古诗对应4个图生视频任务的大概生成时间为3分钟，于是至少串联4个50秒，为保险起见，此处串联了5个，如果在第四个执行时已全部生成，那第五个也会秒执行。
10、文本处理
说明：封面计划取图片数组中的第三张图，于是关联了此节点，先获取到图片的链接
11、图片裁剪-实则格式转换
说明：因图片链接为string格式，目前画板不支持，所以巧用图片裁剪插件，过一道，即可转换成coze可识别的图片格式。
12、画板-封面制作
说明：拿上述图3、开始节点的标题、作者制作封面。
13、音频合并
说明：将批处理生成的音频片段合成一个大音频
14、视频合并
说明：将图生视频的视频片段进行合并
输入：批处理输出的视频片段数组。其实也可以不关联coverImageUrl，可在最后添加背景音乐时再添加封面图。
15、视频音频最终合成
说明：将上述两个几点合并的音频和视频进行最后合并
16、添加字幕
说明：为合并好后的视频添加字幕
17、串联4个异步查询任务
说明：上一节点添加字幕系异步，多串联几个查询节点保证任务成功生成完成
18、数组格式转换
说明：下一节点是为视频添加背景音乐，视频链接需为数组格式，故调大模型做格式转换。
19、添加背景音乐
说明：把前序节点生成的带字幕的视频和一段背景音乐合成，并添加封面图。
输入：如何获取bgm？可用剪映找一个喜欢的音乐，拖入音轨后直接导出mp3，再将文件上传到MathMind后台获取到链接。
示例背景音乐地址：https://output-1257502677.cos.ap-guangzhou.myqcloud.com/audio6825ba6fe4b087ac311e5266.MP3?q-sign-algorithm=sha1&q-ak=AKIDfBVsAJLDwPjrsiaGjz2sVv8B6rQq20oR&q-sign-time=1747303107%3B1778839107&q-key-time=1747303107%3B1778839107&q-header-list=host&q-url-param-list=&q-signature=b93486eb382ac86815f4f73b84f8bdc016b7796d
20、结束
give me five~
暂无评论内容