视频生成


image-20260927212729659

「视频生成」依托阿里自研的万相 Wan 3.0 视频模型,提供视频内容生成能力,并与「图片生成」「视频编辑」形成互补,分别满足图片创作、视频创作及已有视频局部修改的需求。

模型选择

当前默认采用 Wan 3.0 Prime。作为万相 3.0 的高速版视频模型,其在保持与标准版能力对齐的同时,显著提升端到端生成速度,支持文字、图片、视频、音频四种模态的参考输入,单次视频生成时长上限为 30 秒。

Wan 3.0 的一体化架构使同一模型能够承担视频生成、编辑与续写等任务,涵盖文生视频、图生视频及参考等创作方式。因此,模型选择无需随任务类型变化,日常创作使用默认模型即可;如有进一步的效果或效率需求,可根据界面实际提供的模型选项进行调整。

模型核心能力适用场景
Wan 3.0 Prime界面定位为“阿里最强视频模型”,主打极速满血体验对生成速度与综合表现要求较高的视频创作
Wan 3.0影视级镜头语言,主打超高性价比注重镜头表达与性价比的叙事短片、分镜创作
HappyHorse 1.1细腻生动、流畅自然的演绎注重角色表现与动作自然度的剧情片段、人物演绎

参考资料:Wan3.0-Video-Prime(千问 AI 平台)

参数设置

分辨率、画面比例、视频时长及智能配音均通过参数设置控制,无需在提示词中重复说明。提示词应集中描述画面内容与创作要求。

分辨率:分辨率用于设定视频画面的清晰程度。可选 480P、720P、1080P 三档,清晰度提升的同时,生成消耗也相应增加。建议以 480P 或 720P 测试创作效果,满意后再选用 1080P 输出成片。

比例:比例用于控制视频画幅,影响主体布局与空间呈现。支持 9:16、4:3、1:1、3:4、16:9 五种比例,其中竖版侧重人物与移动端展示,横版利于展开场景与运镜,方形适合信息流及商品内容。建议按发布用途预先选定比例,保留完整构图与运镜效果。

生成时长:时长功能用于控制视频生成长度,支持滑块选择 2 至 30 秒。单一动作与产品展示宜控制在 10 秒以内,对话与简单场景可选 10 至 20 秒,包含起承转合或多镜头调度内容可选择 20 至 30 秒。建议先以 5 至 10 秒验证效果,再按需增加时长,以控制生成消耗。

智能配音:智能配音功能支持人物对白、背景音乐及音效与视频画面同步生成。需要减少后期声音制作时,可开启该功能,由模型结合画面与提示词生成声音;需要自行配置音轨或统一制作声音时,可将其关闭。

生成方式

视频生成支持以文字、图片及多媒体参考素材作为创作起点,分别适用于创意探索、静态画面动态化、起止状态衔接与多素材整合。不同方式通过初始信息对画面和声音施加不同程度的约束:参考内容越明确,越有助于控制生成结果;未限定的部分则由模型补充。

生成方式输入内容功能特点适用场景
文生视频文字描述根据描述构建画面,补充未明确的视觉细节尚无素材、构图未定的创意探索
首帧生视频一张图片与文字描述以图片确定起始画面,生成后续动作与变化已有定稿画面,需要转化为动态镜头
首尾帧生视频两张图片与文字描述以两张图片限定起止状态,生成中间过渡变装、开合、生长、昼夜更替等具有明确始末的镜头
多参考生成多份图片、视频、音频与文字描述综合参考素材中的外观、动作与声音信息组织成片对人物形象、商品外观、动作或音色有明确要求的创作

上述方式分别对应不同的素材条件与创作需求,并非输入越多,生成效果就越好。合理的选择在于明确哪些内容需要预先确定,哪些内容可以交由模型补充,使参考素材与创作目标相互匹配。

文字生成

文生视频依据文字描述生成主体、场景、动作、镜头与声音,未明确内容由模型补充。描述越具体,越有助于控制生成结果;描述较为宽泛时,模型的自由发挥空间更大,不同生成结果之间的差异也通常更明显。

提示词应先明确主体与核心动作,再补充场景、运镜、光影及声音要求。动作描述宜围绕单一过程展开,依次交代起始状态、推进过程与关键细节,避免多个动作并列造成干扰。

以下模板按画面、动作与视听要求组织,{} 中内容可根据实际情况替换。

{景别},{主体数量、外观与状态},{起始位置}。
{核心动作及推进过程},{关键细节与物理反馈}。
镜头{机位、运动方式与速度},{取景范围}。
{光线方向与色温},{环境氛围与景深}。
{环境音与动作音效}。
{整体质感、清晰度与画幅比例}。

示例:

咖啡特写,一只白色陶瓷杯盛满深褐色浓缩咖啡,
拉花缸从画面右上方缓缓倾斜入镜,
奶沫注入杯心后逐渐向外推开,壶嘴左右轻摆,勾勒出层叠的叶形纹理,
咖啡表面泛起细密油脂光泽,奶沫边缘与咖啡交融出柔和渐变。
镜头俯拍略带斜角,缓慢推近,画面中仅出现手部与杯具。
清晨窗边自然光从左侧照入,暖色调,浅景深虚化吧台背景。
轻微的注奶声与店内低声环境音。
真实摄影质感,高清细节,9:16竖画幅。

文生视频适合画面尚未定稿时探索方向,可通过同一描述多次生成,比较不同构图与色调。若需固定构图,不宜反复调整文字;获得满意画面后,可截取或另行生成对应图片,转用首帧生成,提高可控性。

首帧生成

首帧生视频由图片提供初始视觉信息,再由模型生成后续动态。构图、主体外观与光影关系主要由图片确定,提示词则负责补充动作及变化要求。两者应保持一致,避免重复描述或相互矛盾,降低主体形态与画面色彩出现异常变化的可能性。

首帧图片应在比例和质量上满足生成要求。比例宜与目标视频保持一致,以免画面适配破坏构图;质量不足则可能使原有缺陷在动态过程中更加明显。进入生成前,应完成必要的检查与处理,为后续运动提供较为稳定的视觉基础。

以下模板采用「主体锁定 → 核心动作 → 环境互动 → 光影与背景 → 镜头运动 → 节奏与风格 → 稳定性约束 → 输出规格」的顺序,各部分分别承担一项控制功能。可按实际需求保留或删除,并将 {} 中的变量替换为具体内容。

以首帧中的{主体}为主体,保持原有{外观特征}与{朝向},{核心动作及其速度、方向}。{关键部位}的运动符合真实规律,{附属元素}受{风力/惯性/重力}影响产生{动态效果},并与{环境元素}形成{互动效果}。

{光线条件}保持连续稳定,{背景元素}维持原有位置与形态。镜头以{机位与景别}{运镜方式},{运镜幅度与方向},突出{画面重点}。

整体节奏{节奏描述},呈现{氛围},{视觉风格}。动作连贯,{需排除的问题,如抖动、闪烁、畸变、多余肢体、场景突变、文字、水印}。{画面比例}。

示例:

以首帧中站在窗台上的橘色短毛猫为主体,保持原有毛色、体型与侧身朝向。猫先低头注视窗外,随后后腿微微下蹲蓄力,轻巧跃下窗台,落在木地板上。起跳与落地时四肢动作符合真实猫科动物的运动规律,尾巴随身体平衡自然摆动,落地瞬间爪垫轻触地面,身体略微下沉缓冲。

午后阳光从窗外斜射入室,窗帘随微风轻轻飘动,光影位置保持连续,室内陈设维持原样。镜头采用中景固定机位,随猫的跃下动作轻微下摇,始终将猫保持在画面中央。

整体节奏轻快自然,具有温暖的居家氛围,写实摄影风格。动作连贯,无镜头抖动、无主体闪烁、无形体畸变、无多余肢体、无场景突变、无文字、无水印。16:9横向画幅。
首尾过渡

首尾帧生视频以两张图片分别确定起始与结束画面,由模型生成中间的过渡过程。该方式适合始末状态明确、变化方向清晰的镜头,可通过预设两端画面限定生成范围,使动态过程围绕既定目标展开。

首尾帧的视觉一致性是过渡连贯的重要基础。两张图片宜保持主体、机位与构图基本一致,仅调整需要变化的内容。无关差异越少,衔接通常越自然。若多项画面信息同时发生改变,则可能削弱连贯性并引发视觉异常。

制作首尾帧时,宜先确定首帧,再以其为参考生成尾帧,并在提示词中明确需要保持一致的要素,仅调整目标变化部分。视频时长应与变化幅度相适应,避免因时长不足造成过渡生硬,或因时长过长出现中段停滞与动作反复。

生成图片:16:9横向画幅,写实摄影风格。固定机位,近景俯视约30度,画面中央是一台转动的陶艺拉坯机,转盘上放置一团湿润的灰褐色陶泥,形状为不规则的矮圆团。一双手从画面两侧扶住泥团,手部沾有泥浆。背景为陶艺工作室的木质工作台,左侧摆放水桶与海绵,右侧放置修坯工具。柔和的顶部光线,暖色调,浅景深。

严格保持:机位、角度、焦距、构图、转盘位置、手部位置、背景物品及其位置、光线方向与色温不变。画面中不出现文字、水印或其他人物。

以下模板按「基础画面与参考 → 主体一致性 → 起始动作 → 变化过程 → 结束状态 → 镜头与环境锁定 → 允许变化范围 → 质量约束」的顺序组织,共八个部分,分别对应一类生成要求。使用时可按需删减,并将 {} 中的占位变量替换为具体内容。

固定机位,{画幅比例},{视觉风格}。以首帧为主体、场景与构图参考,视频从首帧中的{初始状态}过渡到尾帧中的{目标状态}。{主体}始终位于{所在位置},保持相同的{外观特征}。

{主体或操作者}先{起始动作};随后{变化过程的推进方式},{初始状态}逐步变为{目标状态},变化连贯自然,符合真实物理规律。变化完成后,{结束动作},最终稳定停留在尾帧画面{时长}。

相机绝对固定,不推拉、不平移、不旋转、不变焦。{需锁定的元素,如背景、光线、阴影、色温}始终不变,仅允许{允许发生的变化}。{需排除的问题,如闪烁、穿模、形体畸变、场景突变、文字、水印}。

示例:

固定机位,16:9横向画幅,写实摄影风格。以首帧为主体、场景与构图参考,视频从首帧中的矮圆泥团过渡到尾帧中的细颈花瓶坯体。

转盘匀速转动,双手先轻压泥团使其居中,随后拇指向下开孔,双手自下而上缓慢提拉,泥壁逐渐升高变薄;接近顶部时双手向内收拢,收出细长瓶颈,瓶腹自然鼓起。泥浆随手部动作沿坯体表面流动,拉坯纹理随转动逐层形成。成形后双手轻轻离开坯体表面,转盘逐渐减速,最终稳定停留在尾帧画面。

相机绝对固定,不推拉、不平移、不旋转、不变焦。工作台、水桶、海绵、修坯工具、光线方向、亮度与色温始终不变,仅允许陶泥形状与手部动作发生变化。手指结构稳定自然,坯体形变连续,无闪烁、无穿模、无形体畸变、无场景突变、无文字、无水印。
素材参考

多参考生成支持同时输入多份图片、视频与音频素材,由模型分别提取相关信息,并依据提示词整合为同一段视频。与前三种方式相比,该方式不再依靠单张图片约束整体画面,而是由不同素材分别提供主体外观、动作表现与声音特征等参考。

素材类型主要参考
图片人物形象、商品外观、场景风格
视频动作节奏、运镜方式、表演姿态
音频说话音色、背景音乐、节拍

使用参考素材前,应先明确各份素材的职责,并确保所需信息清晰可辨,避免无关内容干扰参考判断。对于承担多项任务的素材,还应分别限定其使用范围,降低信息混用的可能性。

多参考生成的控制效果不仅取决于素材质量,也取决于提示词能否准确表达参考要求。提示词应说明各份素材的用途及其对应关系,使信息提取与内容组织遵循一致、明确的生成目标。

参考素材用于把主体外观、动作节奏与声音特征交给模型,替代纯文字描述。与首帧、首尾帧不同,参考素材不锁定具体的画面帧,只提供特征依据。因此,素材决定“像什么”,提示词决定“怎么用”,二者缺一不可。只上传素材而不说明用途,模型仍需自行猜测对应关系。

类型分工:

参考素材应按信息类型明确分工:图片侧重静态特征,视频侧重动态特征,音频侧重声音特征。在此基础上,还应为每份素材指定明确用途,限定需要提取的信息及其使用范围,减少多重职责带来的理解歧义,保持成片内容的整体协调。

数量限制:

根据千问 AI 平台的开发文档,Wan 3.0 单次任务的参考素材上限如下表所示。网页端的实际上限以界面提示为准。

素材类型数量上限时长与大小限制
图片10 张单张不超过 20MB
视频5 段总时长不超过 15 秒,单个不超过 100MB
音频5 段总时长不超过 15 秒,单个不超过 15MB

素材数量越接近上限,关键特征越容易被稀释。素材有限时,应优先保留核心人物,其次是关键商品或道具,再次是场景;整体风格通常可以用文字描述替代,不必占用素材位。

编号引用:

上传后的素材按类型与上传顺序自动编号。在输入框中输入 @,即可引用对应素材,如 @图片1、@视频1、@音频1。编号与上传次序对应,调整上传顺序会改变编号,撰写提示词前应先确认当前编号。

界面提供的示例写法为“让 @图片1 的人物在 @图片2 的场景中跳舞”。这一写法明确了两张图片各自的对应关系:@图片1 提供人物,@图片2 提供场景。模型不会依据素材内容自行推断哪份素材对应哪个人物或场景,对应关系必须写进提示词正文。

用途声明:

素材较多时,应逐份声明每份素材提供什么、不提供什么,以免模型把参考图中的背景、参考视频中的人物等无关内容带入成片。

@图片1用于茶艺师的五官、发型和米白色对襟上衣,不采用图片背景。
@图片2用于茶室的木质茶台、竹帘和午后光线,不采用图中人物。
@视频1用于提壶、注水和分茶的动作节奏,不采用视频中的人物和场景。
@音频1用于茶艺师的说话音色。

茶艺师在午后的茶室中完成一次冲泡,将第一杯茶推至画面左侧。
镜头先以中景记录注水动作,再缓慢推近至茶汤表面。
茶艺师轻声说:“这是今年的春茶,请慢用。”保留注水声和竹帘轻响,无背景音乐。

提示写法

视频提示词需要说明两类信息:一是画面里有什么,二是这些内容在时间上如何推进。前者与图片提示词相通,后者是视频特有的部分。动作的先后、镜头的运动、声音的进出,都应在文字中给出明确次序,否则只能由模型自行安排。

提示词的基本单位是事件,而非静止画面。将视频写成一帧画面的说明文字,模型只能在原地补出细微晃动;写成一段持续推进的过程,才能得到有起止、有变化的镜头。

公式分层递进

阿里云百炼发布的视频提示词指南,按任务类型给出了以下几组公式。简单任务采用基础公式即可,对画面质感、声音或叙事有更高要求时,再选用对应的扩展公式。

公式类型公式构成适用情形
基础公式主体 + 场景 + 运动简单描述、快速试错
进阶公式主体(描述)+ 场景(描述)+ 运动(描述)+ 美学控制 + 风格化对画面质感有较高要求
声音公式主体 + 场景 + 运动 + 声音描述(人声、音效、背景音乐)需要对白或配乐
多镜头公式总体描述 + 镜头序号 + 时间戳 + 分镜内容多镜头叙事
参考公式参考指代 + 动作 + 场景 + 台词(可选)+ 背景音乐(可选)多参考生成
图生视频公式运动 + 运镜首帧或首尾帧生视频

其中,美学控制指光源、光线、景别、视角、构图等描述,风格化指赛博朋克、水彩、黏土动画等视觉风格。以基础公式为例,“一只橘猫在窗台上伸懒腰”即已包含主体、场景与运动三项;在此基础上补充“清晨柔和侧光,近景平视,镜头缓慢推近,温暖的胶片质感”,即构成进阶写法。

参考资料:文生视频或图生视频提示词 Prompt 使用指南(阿里云百炼)

要素按需取舍

主体与运动是必写项,用于说明“谁或什么”正在“做什么”;其余要素可根据生成方式和视频用途取舍。生成方式不同,提示词的侧重点也随之变化。

生成方式应重点描述可省略的内容
文生视频主体、场景、运动、镜头、风格无,未写明的部分由模型补全
首帧生视频运动过程、镜头运动主体外观、场景陈设
首尾帧生视频过渡过程、保持不变的内容首尾画面已呈现的细节
多参考生成素材用途、动作、场景安排、台词素材已提供的外观特征
要领逐项落实

推进动作

动作应沿时间单向推进,先概括主要过程,只为关键动作补写细节。同一动作不宜重复描述,重复往往被理解为重复执行,成片中会出现来回反复的动作。例如,“拿起杯子,手握杯子,把杯子端起来”应合并为“拿起杯子送至嘴边,饮下一口后放回桌面”。动作数量还应与时长相称,10 秒以内的镜头安排一至两个主要动作即可。

交代镜头

景别、机位与运镜方式应逐项写明。画面中有多个主体时,还需说明镜头围绕谁运动、从何处起幅、到何处落幅。只写“有运镜”“镜头运动”,模型会自行选择运动方式,多次生成之间差异明显。

以低机位中景起幅,镜头沿人物右侧水平横移,最终落幅于茶台上的茶杯,人物退至画面左侧虚焦处。

分述声音

开启智能配音后,人声、音效与背景音乐应分别写明,不宜笼统写作“配上合适的声音”。官方指南对三类声音的描述要点分别为:人声包括说话内容、情绪、语调、语速、音色与口音;音效包括音源材质、行为与环境音;背景音乐包括配乐类型与风格。

茶艺师轻声说:“请慢用。”语气温和,语速偏慢,声音清亮。
保留瓷杯轻碰木质茶台的声音和窗外鸟鸣,背景播放舒缓的古筝乐。

划分阶段

事件较多时,应将整段视频拆分为前后相接的阶段,每个阶段只安排一个主要变化。需要精确控制节奏时,可按官方多镜头公式,为每个镜头标注序号与时间区间,时间段应连续且不重叠。

一段关于冲泡春茶的短片,写实纪录片质感。
第1个镜头[0-5秒]:远景呈现午后的茶室,竹帘透入柔和阳光。
第2个镜头[5-10秒]:中景侧拍茶艺师提壶注水,热气从盖碗中升起。
第3个镜头[10-15秒]:特写茶汤倒入白瓷杯,镜头缓慢推近至茶汤表面。

精简限制

画面内容优先使用正向描述。限制条件只在确有必要时书写,如声明素材不采用的内容、排除容易被误带入的元素。否定句过多,会稀释主要描述的权重。

统一基调

同一条提示词中不应出现相互矛盾的要求,如“固定机位”与“镜头环绕主体”、“慢动作”与“快速剪切”、“安静空镜”与“人群喧闹”。确需在一段视频中呈现两种状态时,应改用阶段划分,写明何时由前者转为后者。

通用模板

以下模板适用于大多数视频生成任务。{} 内为可替换变量,使用时替换为实际内容;不需要的行可整行删除。

text

生成一段用于{使用场景}的视频。
{主体}在{场景}中{主要动作},关键动作为{重点表现的动作}。
镜头以{景别}{机位}起幅,{运镜方式},落幅于{落幅对象}。
{光线},整体呈现{风格}。
{说话人}说:“{台词}”;保留{音效},背景音乐为{配乐风格}。
不出现{排除内容}。

各变量的含义及填写示例如下:

变量含义填写示例
{使用场景}视频的用途茶饮品牌短视频、课程片头
{主体}画面核心人物或物体一名身穿米白色上衣的茶艺师
{场景}主体所处的环境与时间午后的茶室
{主要动作}主体完成的主要动作或事件完成一次冲泡
{重点表现的动作}需要着重呈现的一至两个动作提壶注水
{景别}主体在画面中的大小范围中景、近景、特写
{机位}拍摄角度平视、低机位、俯视
{运镜方式}镜头运动方式与方向缓慢推近、向右横移
{落幅对象}镜头最终停留的画面茶汤表面
{光线}光源方向与光线质感午后侧光从左侧照入
{风格}整体视觉风格写实纪录片质感
{说话人}发出台词的人物茶艺师
{台词}人物说出的内容这是今年的春茶,请慢用
{音效}需要保留的环境声或动作声注水声、竹帘轻响
{配乐风格}背景音乐的类型与风格舒缓的古筝乐、无背景音乐
{排除内容}不得出现的元素其他人物、字幕、水印

使用参考素材时,在模板开头逐行补充各素材的用途声明,如“@图片1 用于{主体}的外貌与服装”;使用首帧或首尾帧时,删除主体与场景的描述,只保留运动、运镜与声音部分。

使用示例

以下按生成方式提供四类示例,分别展示文生视频、首帧生视频、首尾帧生视频和多参考生成的写法。

文生视频示例

以美食短视频为例,展示如何在没有素材的情况下,依靠文字确定主体、动作、镜头与声音。

美食特写,一双木筷夹起一只刚出锅的鲜肉小笼包,轻轻放入白瓷勺中。
筷子戳破面皮,汤汁缓缓流入勺中,热气随之升起。
镜头固定平视,近景,浅景深虚化背景,暖黄侧光,真实摄影质感。
保留筷子触碰瓷勺的轻响和蒸笼的热气声,无背景音乐,不出现人物面部。

首帧生视频示例

上传一张咖啡杯产品图作为首帧后,提示词只需说明画面如何运动,无需复述杯子外观。

热咖啡表面缓缓升起白色蒸汽,一片枫叶从画面上方飘落在杯碟旁。
镜头从近景缓慢拉远至中景,杯子始终位于画面中央。
保留轻微的环境声,背景播放舒缓的钢琴乐。

首尾帧生视频示例

分别上传含苞与盛开的同一朵荷花图片后,提示词应说明过渡过程,以及需要保持不变的内容。

由首帧到尾帧完成一次连续的开花过程,中间不出现跳切。
机位、荷叶位置与水面背景保持不变,仅花瓣由内向外逐层展开。
过渡均匀,结束时画面与尾帧一致。

多参考生成示例

上传人物图、场景图和动作参考视频后,应逐份声明素材用途,再安排动作与镜头。

@图片1用于舞者的五官、发型和红色长裙,不采用图片背景。
@图片2用于海边礁石、落日和海浪,不采用图中人物。
@视频1用于旋转和抬臂的舞蹈动作节奏,不采用视频中的人物和场景。

舞者在落日下的海边礁石上起舞,完成两次旋转后面向大海停住。
镜头以全景起幅,随舞者旋转缓慢环绕半周,落幅于舞者背影与落日。
保留海浪声,背景播放舒缓的弦乐。

千问将返回生成的视频。若成片未达预期,可在原提示词的基础上,只调整偏差最大的一项内容,再次生成比较效果。

注意事项

AI 生视频在动作表现、主体稳定、文字呈现和使用合规等方面存在一定局限。了解这些局限并提前采取应对措施,可减少无效生成,降低消耗。

先短后长

分辨率与时长直接影响生成消耗。建议先以较低分辨率和较短时长验证画面方向,确认主体、动作与运镜符合预期后,再提高分辨率、延长时长,生成最终成片。

控制动作

动作过多、过快或涉及复杂的肢体交互时,成片容易出现肢体变形、动作失真或主体漂移。复杂动作宜拆分为多个阶段,每个阶段只安排一个主要变化;需要跨镜头保持一致的人物,宜通过参考图片锁定外观。

慎用文字

画面中的字幕、标牌、产品参数等文字,可能出现错字或字形异常。必须完全准确的文字内容,不宜交由模型直接生成,建议在后期剪辑时叠加。

合规使用

上传他人肖像、作品或声音作为参考素材前,应取得相应授权。生成的视频用于对外发布时,应按相关规定标注 AI 生成内容;用于商业用途前,还应确认平台的授权范围。

对于需要对外发布的视频,建议在使用前逐项核对画面主体、动作、声音与文字,确保内容准确、使用合规。

评论

登录后查看