视频生成

「视频生成」依托阿里自研的万相 Wan 3.0 视频模型,提供视频内容生成能力,并与「图片生成」「视频编辑」形成互补,分别满足图片创作、视频创作及已有视频局部修改的需求。
模型选择
当前默认采用 Wan 3.0 Prime。作为万相 3.0 的高速版视频模型,其在保持与标准版能力对齐的同时,显著提升端到端生成速度,支持文字、图片、视频、音频四种模态的参考输入,单次视频生成时长上限为 30 秒。
Wan 3.0 的一体化架构使同一模型能够承担视频生成、编辑与续写等任务,涵盖文生视频、图生视频及参考等创作方式。因此,模型选择无需随任务类型变化,日常创作使用默认模型即可;如有进一步的效果或效率需求,可根据界面实际提供的模型选项进行调整。
参数设置
分辨率、画面比例、视频时长及智能配音均通过参数设置控制,无需在提示词中重复说明。提示词应集中描述画面内容与创作要求。
分辨率:分辨率用于设定视频画面的清晰程度。可选 480P、720P、1080P 三档,清晰度提升的同时,生成消耗也相应增加。建议以 480P 或 720P 测试创作效果,满意后再选用 1080P 输出成片。
比例:比例用于控制视频画幅,影响主体布局与空间呈现。支持 9:16、4:3、1:1、3:4、16:9 五种比例,其中竖版侧重人物与移动端展示,横版利于展开场景与运镜,方形适合信息流及商品内容。建议按发布用途预先选定比例,保留完整构图与运镜效果。
生成时长:时长功能用于控制视频生成长度,支持滑块选择 2 至 30 秒。单一动作与产品展示宜控制在 10 秒以内,对话与简单场景可选 10 至 20 秒,包含起承转合或多镜头调度内容可选择 20 至 30 秒。建议先以 5 至 10 秒验证效果,再按需增加时长,以控制生成消耗。
智能配音:智能配音功能支持人物对白、背景音乐及音效与视频画面同步生成。需要减少后期声音制作时,可开启该功能,由模型结合画面与提示词生成声音;需要自行配置音轨或统一制作声音时,可将其关闭。
生成方式
视频生成支持以文字、图片及多媒体参考素材作为创作起点,分别适用于创意探索、静态画面动态化、起止状态衔接与多素材整合。不同方式通过初始信息对画面和声音施加不同程度的约束:参考内容越明确,越有助于控制生成结果;未限定的部分则由模型补充。
上述方式分别对应不同的素材条件与创作需求,并非输入越多,生成效果就越好。合理的选择在于明确哪些内容需要预先确定,哪些内容可以交由模型补充,使参考素材与创作目标相互匹配。
文字生成
文生视频依据文字描述生成主体、场景、动作、镜头与声音,未明确内容由模型补充。描述越具体,越有助于控制生成结果;描述较为宽泛时,模型的自由发挥空间更大,不同生成结果之间的差异也通常更明显。
提示词应先明确主体与核心动作,再补充场景、运镜、光影及声音要求。动作描述宜围绕单一过程展开,依次交代起始状态、推进过程与关键细节,避免多个动作并列造成干扰。
以下模板按画面、动作与视听要求组织,{} 中内容可根据实际情况替换。
示例:
文生视频适合画面尚未定稿时探索方向,可通过同一描述多次生成,比较不同构图与色调。若需固定构图,不宜反复调整文字;获得满意画面后,可截取或另行生成对应图片,转用首帧生成,提高可控性。
首帧生成
首帧生视频由图片提供初始视觉信息,再由模型生成后续动态。构图、主体外观与光影关系主要由图片确定,提示词则负责补充动作及变化要求。两者应保持一致,避免重复描述或相互矛盾,降低主体形态与画面色彩出现异常变化的可能性。
首帧图片应在比例和质量上满足生成要求。比例宜与目标视频保持一致,以免画面适配破坏构图;质量不足则可能使原有缺陷在动态过程中更加明显。进入生成前,应完成必要的检查与处理,为后续运动提供较为稳定的视觉基础。
以下模板采用「主体锁定 → 核心动作 → 环境互动 → 光影与背景 → 镜头运动 → 节奏与风格 → 稳定性约束 → 输出规格」的顺序,各部分分别承担一项控制功能。可按实际需求保留或删除,并将 {} 中的变量替换为具体内容。
示例:
首尾过渡
首尾帧生视频以两张图片分别确定起始与结束画面,由模型生成中间的过渡过程。该方式适合始末状态明确、变化方向清晰的镜头,可通过预设两端画面限定生成范围,使动态过程围绕既定目标展开。
首尾帧的视觉一致性是过渡连贯的重要基础。两张图片宜保持主体、机位与构图基本一致,仅调整需要变化的内容。无关差异越少,衔接通常越自然。若多项画面信息同时发生改变,则可能削弱连贯性并引发视觉异常。
制作首尾帧时,宜先确定首帧,再以其为参考生成尾帧,并在提示词中明确需要保持一致的要素,仅调整目标变化部分。视频时长应与变化幅度相适应,避免因时长不足造成过渡生硬,或因时长过长出现中段停滞与动作反复。
以下模板按「基础画面与参考 → 主体一致性 → 起始动作 → 变化过程 → 结束状态 → 镜头与环境锁定 → 允许变化范围 → 质量约束」的顺序组织,共八个部分,分别对应一类生成要求。使用时可按需删减,并将 {} 中的占位变量替换为具体内容。
示例:
素材参考
多参考生成支持同时输入多份图片、视频与音频素材,由模型分别提取相关信息,并依据提示词整合为同一段视频。与前三种方式相比,该方式不再依靠单张图片约束整体画面,而是由不同素材分别提供主体外观、动作表现与声音特征等参考。
使用参考素材前,应先明确各份素材的职责,并确保所需信息清晰可辨,避免无关内容干扰参考判断。对于承担多项任务的素材,还应分别限定其使用范围,降低信息混用的可能性。
多参考生成的控制效果不仅取决于素材质量,也取决于提示词能否准确表达参考要求。提示词应说明各份素材的用途及其对应关系,使信息提取与内容组织遵循一致、明确的生成目标。
参考素材用于把主体外观、动作节奏与声音特征交给模型,替代纯文字描述。与首帧、首尾帧不同,参考素材不锁定具体的画面帧,只提供特征依据。因此,素材决定“像什么”,提示词决定“怎么用”,二者缺一不可。只上传素材而不说明用途,模型仍需自行猜测对应关系。
类型分工:
参考素材应按信息类型明确分工:图片侧重静态特征,视频侧重动态特征,音频侧重声音特征。在此基础上,还应为每份素材指定明确用途,限定需要提取的信息及其使用范围,减少多重职责带来的理解歧义,保持成片内容的整体协调。
数量限制:
根据千问 AI 平台的开发文档,Wan 3.0 单次任务的参考素材上限如下表所示。网页端的实际上限以界面提示为准。
素材数量越接近上限,关键特征越容易被稀释。素材有限时,应优先保留核心人物,其次是关键商品或道具,再次是场景;整体风格通常可以用文字描述替代,不必占用素材位。
编号引用:
上传后的素材按类型与上传顺序自动编号。在输入框中输入 @,即可引用对应素材,如 @图片1、@视频1、@音频1。编号与上传次序对应,调整上传顺序会改变编号,撰写提示词前应先确认当前编号。
界面提供的示例写法为“让 @图片1 的人物在 @图片2 的场景中跳舞”。这一写法明确了两张图片各自的对应关系:@图片1 提供人物,@图片2 提供场景。模型不会依据素材内容自行推断哪份素材对应哪个人物或场景,对应关系必须写进提示词正文。
用途声明:
素材较多时,应逐份声明每份素材提供什么、不提供什么,以免模型把参考图中的背景、参考视频中的人物等无关内容带入成片。
提示写法
视频提示词需要说明两类信息:一是画面里有什么,二是这些内容在时间上如何推进。前者与图片提示词相通,后者是视频特有的部分。动作的先后、镜头的运动、声音的进出,都应在文字中给出明确次序,否则只能由模型自行安排。
提示词的基本单位是事件,而非静止画面。将视频写成一帧画面的说明文字,模型只能在原地补出细微晃动;写成一段持续推进的过程,才能得到有起止、有变化的镜头。
公式分层递进
阿里云百炼发布的视频提示词指南,按任务类型给出了以下几组公式。简单任务采用基础公式即可,对画面质感、声音或叙事有更高要求时,再选用对应的扩展公式。
其中,美学控制指光源、光线、景别、视角、构图等描述,风格化指赛博朋克、水彩、黏土动画等视觉风格。以基础公式为例,“一只橘猫在窗台上伸懒腰”即已包含主体、场景与运动三项;在此基础上补充“清晨柔和侧光,近景平视,镜头缓慢推近,温暖的胶片质感”,即构成进阶写法。
要素按需取舍
主体与运动是必写项,用于说明“谁或什么”正在“做什么”;其余要素可根据生成方式和视频用途取舍。生成方式不同,提示词的侧重点也随之变化。
要领逐项落实
推进动作
动作应沿时间单向推进,先概括主要过程,只为关键动作补写细节。同一动作不宜重复描述,重复往往被理解为重复执行,成片中会出现来回反复的动作。例如,“拿起杯子,手握杯子,把杯子端起来”应合并为“拿起杯子送至嘴边,饮下一口后放回桌面”。动作数量还应与时长相称,10 秒以内的镜头安排一至两个主要动作即可。
交代镜头
景别、机位与运镜方式应逐项写明。画面中有多个主体时,还需说明镜头围绕谁运动、从何处起幅、到何处落幅。只写“有运镜”“镜头运动”,模型会自行选择运动方式,多次生成之间差异明显。
分述声音
开启智能配音后,人声、音效与背景音乐应分别写明,不宜笼统写作“配上合适的声音”。官方指南对三类声音的描述要点分别为:人声包括说话内容、情绪、语调、语速、音色与口音;音效包括音源材质、行为与环境音;背景音乐包括配乐类型与风格。
划分阶段
事件较多时,应将整段视频拆分为前后相接的阶段,每个阶段只安排一个主要变化。需要精确控制节奏时,可按官方多镜头公式,为每个镜头标注序号与时间区间,时间段应连续且不重叠。
精简限制
画面内容优先使用正向描述。限制条件只在确有必要时书写,如声明素材不采用的内容、排除容易被误带入的元素。否定句过多,会稀释主要描述的权重。
统一基调
同一条提示词中不应出现相互矛盾的要求,如“固定机位”与“镜头环绕主体”、“慢动作”与“快速剪切”、“安静空镜”与“人群喧闹”。确需在一段视频中呈现两种状态时,应改用阶段划分,写明何时由前者转为后者。
通用模板
以下模板适用于大多数视频生成任务。{} 内为可替换变量,使用时替换为实际内容;不需要的行可整行删除。
text
各变量的含义及填写示例如下:
使用参考素材时,在模板开头逐行补充各素材的用途声明,如“@图片1 用于{主体}的外貌与服装”;使用首帧或首尾帧时,删除主体与场景的描述,只保留运动、运镜与声音部分。
使用示例
以下按生成方式提供四类示例,分别展示文生视频、首帧生视频、首尾帧生视频和多参考生成的写法。
文生视频示例
以美食短视频为例,展示如何在没有素材的情况下,依靠文字确定主体、动作、镜头与声音。
首帧生视频示例
上传一张咖啡杯产品图作为首帧后,提示词只需说明画面如何运动,无需复述杯子外观。
首尾帧生视频示例
分别上传含苞与盛开的同一朵荷花图片后,提示词应说明过渡过程,以及需要保持不变的内容。
多参考生成示例
上传人物图、场景图和动作参考视频后,应逐份声明素材用途,再安排动作与镜头。
千问将返回生成的视频。若成片未达预期,可在原提示词的基础上,只调整偏差最大的一项内容,再次生成比较效果。
注意事项
AI 生视频在动作表现、主体稳定、文字呈现和使用合规等方面存在一定局限。了解这些局限并提前采取应对措施,可减少无效生成,降低消耗。
先短后长
分辨率与时长直接影响生成消耗。建议先以较低分辨率和较短时长验证画面方向,确认主体、动作与运镜符合预期后,再提高分辨率、延长时长,生成最终成片。
控制动作
动作过多、过快或涉及复杂的肢体交互时,成片容易出现肢体变形、动作失真或主体漂移。复杂动作宜拆分为多个阶段,每个阶段只安排一个主要变化;需要跨镜头保持一致的人物,宜通过参考图片锁定外观。
慎用文字
画面中的字幕、标牌、产品参数等文字,可能出现错字或字形异常。必须完全准确的文字内容,不宜交由模型直接生成,建议在后期剪辑时叠加。
合规使用
上传他人肖像、作品或声音作为参考素材前,应取得相应授权。生成的视频用于对外发布时,应按相关规定标注 AI 生成内容;用于商业用途前,还应确认平台的授权范围。
对于需要对外发布的视频,建议在使用前逐项核对画面主体、动作、声音与文字,确保内容准确、使用合规。
评论
登录后查看