AI 视频生成：从剧本到成片的完整知识地图

「用 AI 做视频」常被简化成一次 T2V 调用。工业级做法是分层：叙事层决定讲什么，理解层决定机器读什么，规划层决定怎么拍，生成层决定怎么画/怎么动，媒体层决定声音与成片规格，资产层保证跨镜头一致。

工作流编排（Workflow Orchestration）是把离散能力变成有向无环图（DAG）或状态机：每个节点声明输入契约、模型/工具、输出制品与失败重试策略。下面的交互图把本 Wiki 全部概念挂在同一条管线上——这是全书的索引与脊梁。

编排引擎要解决什么

面向生成的剧本更接近「可编译源码」：场次清晰、实体可链接、动作可视觉化、对白可时长化。散文式描写会增加 NLU 歧义，拖垮下游一致性。

推荐结构

示例片段（可被 NLU 解析）

这段同时喂给：NLU（实体与景别）、资产（两个角色 ID）、音频（对白）、镜头（推轨）、生成（侧光窗边茶馆）。

NLU（Natural Language Understanding）在此不只是聊天：它把剧本编译成 Shot Spec——下游节点的统一接口。常见子任务包括意图识别、槽位填充、指代消解、实体链接到资产库、以及镜头语法映射。

Shot Spec 最小字段示例

有了 Spec，工作流可以把「同一镜头」路由到 T2I（关键帧）、ControlNet（姿态）、I2V/T2V（运动）和 TTS（对白），而不是每段重新解读自然语言。

分镜（Storyboard）是视觉规划层：把 Shot Spec 落实为关键帧、时长与转场。AI 流水线中，分镜可以是手绘扫描、T2I 批量生成，或「草图 ControlNet + 资产参考」的混合产物。

分镜在管线中的三种形态

镜头语言把「怎么拍」编码成可注入 prompt、相机轨迹与条件图的参数。景别决定信息量，运镜决定情绪张力，剪辑决定信息释放节奏。

常用景别

运镜与生成侧映射

静帧与视频生成不是互相替代，而是流水线上的不同工序。先建立可控静帧，再进入运动，通常比「一步出片」更稳。

T2I / I2I ControlNet T2V / V2V

T2I 与 I2I 怎么分工

T2I负责「从零建立视觉」。提示词通常包含主体、场景、光影、镜头焦距、风格参考。结合 IP-Adapter / 角色 LoRA 可把资产库中的脸与服装锁进画面。

I2I负责「在已有结构上迭代」。denoising strength 低则保构图，高则更自由。局部 inpaint 用于改道具、修手、换背景而不破坏全身一致性。

与工作流的接口

分镜关键帧节点几乎总是 T2I/I2I。输出写入镜头制品库，供 Control 预处理与 I2V 读取。Seed、模型哈希、资产版本应一并入库以便复现。

ControlNet：让生成听从镜头意图

ControlNet（及同类适配器）在扩散主模型旁路注入条件特征。条件来自分镜或几何预处理器，而不是只靠文字碰运气。

条件类型	提取方式	典型用途
Canny / Lineart	边缘检测	锁定构图与轮廓
Depth	单目深度估计	空间层次、推拉时的透视
OpenPose	人体关键点	表演姿势、多人站位
SoftEdge / Scribble	软边/涂鸦	粗分镜快速约束
Tile / Reference	分块/参考	高清放大、风格贴合
视频 Pose/Depth 序列	逐帧或稀疏关键帧	V2V / 可控视频

权重过高会「画不动」；过低则失控。工作流里常把 Control 权重做成可调参数，并与镜头运动强度联动。

T2V、I2V 与 V2V

T2V：文本直接出视频，迭代快，但角色身份、品牌道具、长时一致性较弱，适合氛围镜头或早期探索。

I2V：从审核过的关键帧延展，是工业化默认路径——先用 T2I+Control 把「长什么样」定死，再让模型「怎么动」。

V2V：输入已有视频（实拍或生成），在运动结构上重绘。适合统一全片风格、角色替换、季节/时段变换。常配合光流、深度或 Control 序列减少闪烁。

当镜头的落幅构图已知时，升级为 首尾帧（Start–End Frame）：同时约束起幅与落幅，比单图 I2V 更可控。

一致性策略（简表）

短镜优先 I2V；落幅明确用首尾帧；跨镜锁资产 Embedding/LoRA；运动剧烈时降幅度或加 Pose 序列；闪烁用时序约束或后处理稳定。

首尾帧：起幅与落幅的双边约束

首帧（Start / First Frame）是镜头开始时的画面；尾帧（End / Last Frame）是镜头结束时应到达的画面。 首尾帧生成（也称 Start–End I2V、关键帧插值、FLF）让视频模型在两张静帧之间「补运动」，而不是只从一张图自由延展。它是分镜里「这一镜从哪开始、到哪结束」在生成侧的直接落地。

与单图 I2V / 纯 T2V 的差别

典型运用场景

制作与质检要点

提示词示例（首尾帧）

MCU：char.lin 窗边侧坐，侧光，看向画外右方（已审核定妆图）

CU：同一人物更大脸部占比，目光仍偏右，肩线略抬，光位不变（由首帧 I2I + 轻微构图上移得出）

slow dolly in from the first frame to the last frame, subtle blink, minimal head motion, keep identity, wardrobe and lighting consistent, 5 seconds, smooth continuous move

首帧：全景码头夜景（无人）
尾帧：室内特写人脸
提示词：快速切换场景，电影感爆炸

提示词不是「形容词堆砌」，而是把 Shot Spec、镜头参数 与 资产别名 编译成目标模型能执行的自然语言/标签句。同一镜头对 T2I、I2V、TTS 应产出不同句式：静帧写「长什么样」，视频写「怎么动」，音频写「怎么说/怎么响」。

通用公式：七槽位

优质提示词按固定槽位填写，缺槽就补，多槽就拆——避免一段话里同时塞太多互相打架的主体。

静帧 T2I/I2I 视频 T2V/I2V 资产生成 Control 配合 音频提示词 分模型写法

静帧：先「看得见」，再谈「动起来」

T2I/I2I 提示词应像摄影简报：主体清晰、空间可解、光可复现。I2I 时文字写「改什么」，结构交给原图与 denoise。

弱 角色定妆 通用 T2I

Prompt

一个漂亮的女孩，电影感，高质量，8k

问题：主体不可复现、无资产锚点、无镜头/光影，「电影感/8k」几乎无效噪声。

优 角色定妆 · 茶馆夜戏 SDXL / Flux / Kolors

Positive

char.lin, East Asian woman, short black bob hair, grey trench coat, sitting by wooden window in traditional teahouse at night, side window light, cool teal rim light, medium close-up, 50mm lens, shallow depth of field, cinematic still, neutral expression, looking slightly off-camera, film grain subtle

Negative

deformed hands, extra fingers, watermark, logo, text, oversmoothed skin, crossed eyes, duplicate face, lowres, cartoon

主体用资产别名；光与镜头可复现；负向只打已知失败点。

优 建立空镜 · 雨夜码头 T2I 关键帧

Positive

wide establishing shot of rainy night harbor pier, wet asphalt reflections, distant cargo ships, sodium street lamps, volumetric mist, empty frame no people, 24mm wide angle, deep focus, anamorphic feel, muted teal and amber palette, photoreal cinematic

Negative

crowded, readable text on signs, distorted perspective, oversaturated neon, watermark

优 I2I 局部改道具 Inpaint · denoise 0.35–0.55

Inpaint Prompt（蒙版仅信件）

aged sealed envelope with wax stamp on wooden table, soft side light, keep original table texture and framing unchanged

I2I 少写全局风格，多写「替换物属性」；蒙版外交给原像素。

产品 / 广告静帧模板

优 桌面产品英雄图 T2I

Positive

matte black wireless earbuds case centered on brushed aluminum desk, softbox key light from upper left, gentle reflection, clean minimal background gradient grey, product photography, 85mm, f/8, ultra sharp edges, no text no logo distortion

Negative

blurry logo, misspelled text, extra objects, hands, busy background, plastic sheen overdone

视频：动词与相机优先，外貌交给关键帧

I2V：提示词重点写运动与镜头变化，外貌已由关键帧锁定，重复外貌描述收益低。 T2V：需同时写主体+运动，但句子宜短、因果清晰，一次只推一种主运动。 V2V：写「保留什么 / 改成什么」，并配合 Control 权重。

弱 对白近景 I2V 通用 I2V

Prompt

她很伤感地说了一句话，然后镜头很电影地推进，氛围拉满

问题：无可执行动作、无运镜参数、情绪词无法落到像素。

优 对白 · 中近景推至特写 Kling / Runway / Luma I2V

Motion Prompt

slow dolly in from medium close-up to close-up on her face, subtle blink, slight lip movement as if speaking softly, shoulders still, shallow depth of field, natural micro motion, 6 seconds, keep identity and wardrobe unchanged

运镜 + 微表情 + 时长 + 身份保持指令；对白内容交给 TTS，不必写入画面 prompt。

优 动作追逐 · T2V 可灵 / 海螺 / Sora 类

Positive

handheld tracking shot following a young man in grey trench coat running through rain-soaked alley at night, puddle splashes, camera trucks left keeping subject centered, urgent pace, realistic motion blur on background only, continuous single take 5 seconds

Negative / 约束

teleporting limbs, sudden cut, morphing face, frozen pose, text overlay

优 V2V 风格迁移 V2V + 低 denoise

Prompt

restyle the footage as 1980s anamorphic crime thriller, teal-orange grade, keep original camera moves, blocking and face identity, increase film grain slightly

「keep …」比「beautiful cinematic」更有效；运动结构由源视频承担。

优 首尾帧过渡 FLF I2V

Motion Prompt（配合首帧+尾帧图）

interpolate smoothly from start frame to end frame, slow dolly in, subtle natural motion, keep face identity and coat details, no cut, 5 seconds

详见 首尾帧专节：外貌由双帧锁定，此处只写过渡。

视频提示词检查清单

是否只有一个主运动？是否写了相机如何动？是否声明时长？I2V 是否写了 keep identity？首尾帧是否几何可插值？是否避免要求模型「读出屏幕上的字」？

资产生成：先建库，再拍戏

成片前应先沉淀可复用资产：人物三视图、脸部特写、服装、道具、场景板、风格板。 这些图进入 资产库 后，下游镜头用 prompt_alias + IP-Adapter/LoRA 引用，而不是每镜重写外貌。

资产提示词总原则

① 中性光、干净背景，少叙事动作；② 固定 asset_id 别名句（如 char.lin…）； ③ 三视图要求「同一人物同一服装」；④ 脸部特写锁五官比例，供 Face ID； ⑤ 场景/道具写材质与尺度，避免可读文字。

人物三视图

正面 / 侧面 / 背面（或 3/4 侧）同比例站立，用于全身一致性、换装与 Pose 参考。一张拼图或三张分图均可入库。

优 角色三视图模型板 T2I · 正方形或 16:9 拼图

Positive

character turnaround sheet of char.lin, same East Asian woman, short black bob hair, grey trench coat, black boots, full body, three orthographic views side by side: front view, left side profile, back view, identical outfit and proportions, standing A-pose, even soft studio lighting, plain cool grey background, clean model sheet, no text, no labels, consistent face

Negative

different faces across views, crowded background, dramatic cinematic lighting, action pose, crop at knees, extra limbs, watermark, text captions

也可分三次生成（front / side / back），共用同一 seed 范围与资产参考，再人工拼板。

弱 三视图常见翻车 T2I

Prompt

美女三视图，好看，全身，电影光

缺资产别名、缺「同一服装/同一五官」、电影光会造成各视角阴影不一致，难以训 LoRA / 做 ID。

脸部特写（Face ID）

正面或微侧、表情中性、五官清晰，专供人脸一致性（IP-Adapter Face / PuLID / InstantID 等）。避免夸张表情、遮挡与强逆光。

优 脸部特写定妆 T2I · 头肩 / ECU

Positive

face close-up of char.lin, East Asian woman, short black bob hair framing face, neutral calm expression, eyes looking at camera, clear iris detail, natural skin texture with subtle pores, soft beauty lighting, key light from camera-left, clean cool grey backdrop, head and shoulders, 85mm portrait lens, sharp focus on eyes, no makeup heavy, identity reference photo

Negative

smile grin, crying, looking away, hair covering eyes, heavy makeup, beauty filter plastic skin, sunglasses, hands in frame, busy background, text, watermark, lowres

同一角色建议再备：微侧 3/4、微笑轻版、夜戏侧光版——入库为 char.lin.face.v1 等多变体。

其他资产生成案例

场景板、服装、道具、风格板与角色资产并列，构成可检索的美术包。下图为四类资产拼版示意。

场景 Location · 茶馆夜景 T2I

Positive

empty traditional Chinese teahouse interior at night, wooden tables, lattice windows with rain outside, warm practical lamps, cool teal shadows, no people, wide establishing shot, 24mm, deep focus, location scout photo, photoreal

Negative

crowded customers, readable shop signs, modern neon clutter, distorted perspective

空场优先，人物后合成；写入 loc.teahouse_night。

服装 Costume · 风衣平铺 T2I

Positive

flat lay product photo of a tailored grey trench coat, visible buttons and belt, fabric weave detail, softbox lighting, plain neutral background, costume design reference, top-down, sharp, no model

Negative

worn by person, wrinkled mess, busy pattern overlay, logo text, hanger watermark

服装资产便于换装 I2I，与三视图外套描述保持同一色号措辞。

道具 Prop · 蜡封印信 T2I

Positive

aged sealed paper envelope with dark red wax stamp on wooden table, soft side light, shallow depth of field, hero prop close-up, tactile paper fiber, no readable handwriting, cinematic still life

Negative

readable address text, modern courier bag, plastic shine, hands holding, logo

关键道具多角度各一张，供 inpaint 与特写镜头复用。

风格 Style · 青琥珀黑 T2I / 色板

Positive

cinematic color style board, muted teal and amber noir palette, anamorphic still frames collage, subtle film grain, low contrast shadows, cohesive grade, mood reference sheet, no typography

Negative

neon cyberpunk overload, rainbow grading, text titles, cluttered collage labels

风格板作 Reference / Style LoRA 条件，全片调性锚点。

资产	提示词必含	入库字段示例	下游用法
三视图	turnaround、同装同脸、A-pose、净背景	char.lin.turnaround.v1	LoRA / 全身一致性
脸部特写	face close-up、中性表情、85mm、净背景	char.lin.face.v1	Face ID / IP-Adapter
场景板	empty、光位、焦距、无人物	loc.teahouse_night	关键帧背景 / Depth
服装	flat lay、材质、色号	cos.trench_grey	换装 I2I
道具	hero prop、材质、无可读字	prop.letter_wax	特写 / inpaint
风格板	palette、grain、时代感	style.noir_teal	全片 Reference

与工作流

编排台上「资产管理」节点应在批量镜头生成之前完成三视图+脸部特写人审。 定妆期用 IP-Adapter 快速锁脸；定妆通过后可训 角色 LoRA 量产。 详见 资产管理；镜头提示词只引用别名/触发词，不再每次重写五官。

ControlNet：文字管「外观」，条件图管「结构」

有 Pose/Depth/Canny 时，提示词不要再详细描写站位与构图，否则两套指令冲突。文字专注服装、材质、光、风格；结构交给条件图与权重。

条件	提示词该写	提示词别写	权重直觉
OpenPose	服装、年龄、光影、风格	举手/转身等姿态细节	0.7–1.0 锁表演
Depth	材质、天气、色调	前后景相对位置长篇描述	0.6–0.9 保空间
Canny	上色、材质、时间	重新发明轮廓形状	0.5–0.8 保线稿
多 Control	短正向 + 强负向	超长堆砌	主条件高、辅条件低

优 Pose 锁定双人过肩 T2I + OpenPose

Positive（配合 OpenPose 条件图）

two characters in over-the-shoulder dialogue, char.lin grey trench, char.zhao dark suit, night teahouse interior, warm practical lamps, cinematic color, sharp eyes, natural skin

站位由 Pose 图决定；文字只钉身份与光。Control weight ≈ 0.85。

音频：对白、配乐、音效分开写

TTS 要写「怎么说」而不是「说了什么的文学修辞」；配乐写情绪、乐器、节奏与时长；SFX 写具体事件与空间感。

优 TTS 情绪指令 多音色 TTS

对白文本

你还记得雨夜的码头吗？

风格 / 演技标签

speaker: char.lin_voice_v3 | tone: restrained, slightly probing | pace: slow | pitch: mid-low | breath: soft inhale before line | no smile

优 配乐 BGM MusicGen / Stable Audio

Prompt

sparse neo-noir underscore, low cello drone, distant muted trumpet motif, slow tempo 70 BPM, tense and intimate, no vocals, 25 seconds, fade out last 3 seconds

Negative

EDmrop, cheerful pop, loud drums, lyrics, choir

优 环境声 / SFX 文生音效或检索

Prompt

steady night rain on tiled roof, soft indoor room tone, occasional distant thunder, stereo wide, loopable 10 seconds, no music

分模型：同一 Spec，不同句式

模型家族对「标签汤 / 自然语言 / 电影指令」偏好不同。工作流应在「提示词编译」节点按 model_family 切换模板，而不是人手改来改去。

模型家族	偏好句式	写法要点	慎用
SD 1.5 / SDXL	逗号分隔标签 + 权重	(keyword:1.2)、质量标签有一定作用；负向很重要	超长散文、互相矛盾标签
Flux / 新一代 T2I	短自然语言段落	完整句子描述关系；少堆「8k, masterpiece」	过度权重语法、空洞质量词
Kolors / 国产 SD 系	中英混合均可	中文主体描述清晰；专有名词可英文	中英重复同义堆砌
可灵 Kling	电影分镜式中英	明确运镜、主体动作、时长感；I2V 强调保持	一次要求多种剧烈运动
Runway Gen	简洁英文电影指令	相机动词 + 场景；可配合运动笔刷	超长小说式段落
Luma / Dream Machine	自然描述 + 运动	因果清晰的短句；起幅落幅明确	抽象情绪词堆叠
Sora 类通用视频	叙事性自然语言	时间顺序清楚；物理常识自洽	要求精确品牌字形
ComfyUI 图（多模型）	节点级拆分 prompt	主模型 / Refiner / Control 各写各的短句	一个巨型字符串打天下

同一镜头 · 三模型对照示例

Spec：char.lin 窗边坐着，侧光，MCU，缓慢推近，6 秒。

SDXL 关键帧 T2I 标签汤

char.lin, short black bob, grey trench coat, sitting by window, teahouse night, side lighting, rim light, medium close-up, 50mm, bokeh, cinematic still, film grain, looking aside

Flux 关键帧 T2I 自然语言

A woman matching char.lin with a short black bob and grey trench coat sits by a wooden teahouse window at night. Cool side light shapes her face. Medium close-up on a 50mm lens with soft background blur, quiet cinematic still.

Kling I2V 运动延展 运镜指令

镜头缓慢向前推，从中近景推到面部特写，她轻轻眨眼，口唇微动，肩部保持静止，身份与服装不变，时长6秒

工作流落点

在编排台的「提示词」节点：输入 Shot Spec + model_family + 资产 prompt_alias，输出 prompt_positive / prompt_negative / motion_prompt / tts_style。 详见 工作流编排 与 对应模型。

负面提示词：按失败模式维护词表

成片听感决定「是否像作品」。音频链路通常与画面并行：NLU 抽出对白与情绪后即可启动 TTS 与配乐，最后在合成节点对齐时间轴。

模型选型应挂在工作流节点上，而不是悬空比较参数量。下表按节点给出代表性方向（生态变化快，以「能力匹配」为准，具体产品名会迭代）。

资产管理（Asset Management）是跨镜头一致性的数据库。没有它，工作流只是「多次随机生成」；有了它，才能版本化、复用、溯源与合规。

角色资产：三视图 + 脸部特写

人物一致性最低配置是全身三视图与脸部特写。生成提示词与图例见 提示词 · 资产生成；此处强调入库形态。

场景 / 服装 / 道具 / 风格

资产类型

元数据最小集

每个资产建议具备：asset_id、type、version、embedding_uri、license、prompt_alias、created_by、hash。 角色类资产另需：ip_adapter_ref（参考图 URI）、lora_path / trigger_word、recommended_weight。 工作流执行记录应写回：使用了哪些资产版本、哪个模型、IP-Adapter/LoRA 权重、Control 权重——这是复现与追责的基础。

IP-Adapter：用参考图「提示」身份

IP-Adapter（Image Prompt Adapter）是挂在扩散主模型上的图像提示适配器：把参考图编成图像嵌入，经交叉注意力注入 U-Net/DiT，使生成结果贴近参考的主体、风格或构图语义——无需为每个角色单独训练权重文件即可「即插即用」。

常见变体与用途

推理参数直觉

角色 LoRA：把「这个人」写进权重

LoRA（Low-Rank Adaptation）是对主模型部分线性层做低秩增量微调得到的小权重文件。 角色 LoRA专门用该角色的多图数据集训练，使触发词（如 charlin / olin_character）在生成时稳定唤出该身份与标志性服装/气质——一致性通常强于单次 IP-Adapter，但需要训练与版本管理。

训练数据与标注

推理用法

lora: char_lin_sdxl_v1.safetensors @ 0.8

charlin, short black bob, grey trench coat, sitting by teahouse window at night, side light, medium close-up, 50mm, cinematic still

IP-Adapter vs 角色 LoRA：怎么选

当前主流生成模型单次多输出 几秒到十余秒 的片段，不存在「一次 prompt 出 60 分钟」的可靠路径。 小时级成片的本质是：把长片拆成可调度的镜头工厂，用资产锁一致性，用编排做并行与返工，用剪辑轴拼成连续叙事。

规模拆解与产能估算

制作流程（案例七阶段）

推荐技术栈组合（案例）

会遇到的问题与解决方案

小时级项目的失败模式，大多是「短视频能忍、长片放大就崩」。下表按生产阶段列出高频问题与对策。

问题优先级（建议）

T2I

Text-to-Image，文本到图像。

I2I

Image-to-Image，图像到图像（含 inpaint）。

T2V

Text-to-Video，文本到视频。

I2V

Image-to-Video，图像到视频（关键帧延展）。

首尾帧 / FLF

First–Last Frame；同时约束起幅与落幅的视频生成。

起幅 / 落幅

镜头开始/结束时的构图画面。

V2V

Video-to-Video，视频到视频（结构保持重绘）。

ControlNet

以条件图约束扩散生成的旁路控制网络。

NLU

自然语言理解；此处侧重剧本→结构化 Spec。

Shot Spec

单镜头的结构化规格，工作流统一接口。

Prompt

提示词；面向具体模型的生成指令文本。

Negative Prompt

负向提示词；抑制已知失败模式。

三视图 / Turnaround

角色正/侧/背模型板，用于全身一致性。

脸部特写 / Face ID

中性表情面部参考，供人脸锁定适配器。

prompt_alias

资产在提示词中的稳定别名描述。

Motion Prompt

视频专用提示，偏重运镜与动作。

分镜

Storyboard，关键帧与时长的视觉规划。

DAG

有向无环图，编排依赖的常用形态。

HITL

Human-in-the-loop，人工审批闸门。

IP-Adapter

Image Prompt Adapter：将参考图编码为图像条件并注入扩散主模型，用于即插即用的主体/风格/人脸一致性。详见 专节。

角色 LoRA

针对特定角色的低秩微调权重；推理时叠加主模型并用触发词唤出身份。详见 专节。

Trigger Word

角色 LoRA 的触发词，须写入正向提示词才能稳定激活。

LoRA scale

LoRA 叠加强度，常用约 0.6–1.0；过高易过拟合僵硬。

小时级长视频

以分钟/小时为目标时长的成片；靠镜头级拆解与组装，而非单次超长生成。见 案例。

样片闸门

全量生成前的短样片人审（go/no-go），用于冻结资产与管线参数。

镜间接力

上一镜尾帧作为下一镜首帧，维持空间与身份连续。

Seed

随机种子，影响可复现性。

Denoise

I2I 重绘强度，越高越偏离原图。