第七部 图像、视频、表演与合成生成
第 36 章 图生视频与运动设计#
本章目录
36.1 运动必须服务状态变化#
关键帧已经成立,视频只需完成镜头必要变化。让头发、背景、摄影机和所有人物同时运动,会增加漂移而不增加故事。
将运动分为人物主动作、人物微动作、环境运动和摄影机运动。每镜一个主动作,其余保持低幅度。
36.2 Motion Brief#
motion_request:
shot: E001_S09
duration: 3.5s
start_frame: KF_E001_S09_START@v04
character_action: 右手将授权书向前推12cm后停住
micro_action: 手指自然放松一次
environment: 背景人物保持模糊静止
camera: 极轻微推进
end_state: 标题与签名区稳定停留0.6s
forbidden:
- 手指数量变化
- 文件旋转
- 背景人物走动
- 生成文字变化
距离值表示尺度,不保证像素级控制;重点是动作短、方向明确、结束可剪。
36.3 2–5 秒不是绝对,但很实用#
短镜头减少身份与物理漂移,便于挑选稳定中段。长镜头应由稳定静止、简单运动或真实必要性支持。不要为了单次生成时长把多个 beat 塞入。
生成五秒不等于使用五秒。记录最终可用区间。
36.4 时间轴提示#
复杂一点的动作按秒或阶段描述:
0.0-0.8s 视线停在文件上,身体不动。
0.8-2.2s 右手平稳向前推文件。
2.2-3.0s 文件停住,手指松开。
3.0-3.5s 保持静止,摄影机微推。
时间轴只安排可同时完成的少量变化。模型无法严格执行时,仍能提供优先级和动作顺序。
36.5 运动幅度#
微动作最稳:眨眼、呼吸、轻转头、手指敲一下、衣料小幅运动。中幅动作如站起、递物、走两步需要更多状态控制。大幅动作、接触和多人运动优先拆镜或分层。
用低、中、高幅度标签记录风险,并设置尝试预算。
36.6 摄影机与人物不要争夺#
人物完成重要动作时,相机保持静或简单推进;复杂相机运动时,人物动作应更简单。环绕、快速推拉和手持会同时改变背景、脸和遮挡,风险高。
运镜结束必须带来新信息。没有揭露就不动。
36.7 首帧、末帧和把手#
首帧必须是批准关键帧或经过核验的变体。末帧要求可达、身份稳定、状态正确并保留短暂停留。前后把手给剪辑选择,避免使用模型启动抖动。
支持首尾帧时,先检查两帧人物、手、道具和空间一致。差异过大会导致中间融化。
36.8 无口型、口型与画外#
普通运动镜头默认不产生说话嘴形。对白可采用画外、背面、过肩、反应或短正面口型。避免人物无台词却持续嘴动。
口型同步属于独立高风险路线,需使用最终音频并检查身份与表演,不与复杂动作同时进行。
36.9 环境运动#
窗帘、雨、屏幕光和背景人群要遵守环境状态。风向、雨强和人群动作跨镜保持。背景运动幅度低于主体,避免抢注意。
完全静止的环境也可以通过声音维持生命,不必强迫画面每处运动。
36.10 候选选择#
每个候选记录首帧偏差、动作完成度、身份漂移、物理错误、相机稳定和可用区间。选择“最可剪”的,不一定是运动最多的。
同一视频可截取不同区间用于正片和广告,但所有使用都登记父记录。
36.11 循环、慢动作和速度调整#
循环只适合重复环境或微动作,人物情绪动作循环会显得机械。慢动作不能修复错误物理,只会放大。轻微速度调整可匹配剪辑,但口型、雨和行走会暴露变化。
需要停留时,优先生成稳定末态或使用极轻微活帧,不无限冻结脸。
36.12 Motion QC#
检查身份首中末、手与道具、动作方向、相机、背景、末态和可剪把手。正常速度先看感知,再逐帧找阻断错误。音频临时铺入,确认动作节奏能承载台词和音效。
36.13 用动作相位代替模糊动词#
“她把文件递过去”至少包含准备、接近、交接、释放和完成五个相位。若镜头只需要表达主动施压,可以只生成接近到完成;若剧情关键是对方不肯接,则必须保留接近与悬停,不能让模型自动完成交接。
Motion Brief 应明确镜头覆盖哪些相位,以及在哪个相位剪出:
action_phases:
action_id: ACT_AUTHORIZATION_HANDOFF
covered: [approach, hold]
omitted: [grasp, release]
start: 文件平放桌面,林筠右手压住右上角
cut_point: 文件越过桌面中线后停住
state_out: 文件仍由林筠控制,周岚尚未触碰
dramatic_meaning: 这是挑战,不是礼貌递交
相位设计同时保护连续性和戏剧含义。下一镜如果从周岚的手已经抓住文件开始,就必须另有交接镜头或允许明确的省略;不能让物体在切点中无因换主。
36.14 先做运动预演,再花生成预算#
中幅以上动作可以用手机真人走位、简陋 3D、静帧推拉或剪辑 animatic 预演。预演不追求视觉质量,只验证时长、方向、遮挡、切点和声音节奏。三秒是否够转身再落座,用真人做一次比连续生成二十次更便宜。
预演还会暴露“镜头其实不需要动”。如果把对白、反应和音效放入静帧 animatic 后,权力变化已经成立,就可以只生呼吸、眼线或微推。运动不是价值本身;它是信息变化的载体。
36.15 可用区间与编辑把手#
生成文件必须记录三段:启动污染区、可用区、衰变区。很多结果前 0.3 秒从静帧突然活起来,末尾 0.8 秒开始变脸。只写“这条能用”会让剪辑师反复寻找真正区间。
usable_segment:
source: GEN_E001_S09_006
source_duration: 5.0
in: 0.62
out: 3.18
preferred_cut_in: 0.84
preferred_cut_out: 2.92
state_at_in: hand_begins_push
state_at_out: document_stable
defects_outside_range: [startup_warp, late_identity_drift]
首选切点之外仍要尽量保留 6–12 帧把手,给声音、反应和节奏调整空间。若最终采用区间没有把手,应在剪辑账本标记为脆弱镜头;后续台词或配乐长度变化时,它可能必须重做。
36.16 多镜头动作的交接测试#
每条视频单独通过后,还要做三连检查:前镜最后 8–12 帧、当前镜全段、后镜最初 8–12 帧连续播放。检查动作速度是否突然变化、人物重心是否跳跃、视线是否换目标、环境运动是否重启、摄影机是否发生无意跳切。
动作速度可用三档记录:蓄力、执行、余波。前镜是快速执行,反打可以进入余波静止;但如果反打又从蓄力开始,观众会感觉动作重复。生成工位必须交付状态变化,不只是视频文件。
36.17 《逆光收购》的进入会议室#
初稿把“林筠推门、走到桌边、拿出授权书、面对众人说话”写成一个七秒镜头。测试中人物每走一步脸部都在变化,授权书会从手提包中凭空出现,摄影机后退时会议室几何也不断伸缩。
重做后分为五个可控任务:门把转动和门开;林筠跨过门槛后停步;众人转头;她把文件夹放到桌面;正面短口型说“从现在起,我代表收购方”。声音用门响、脚步和会议室 room tone 将五镜粘合,台词前留出半秒安静。镜头数量增加了,生成总尝试数反而下降,而且每一个切点都在加强她夺取空间的过程。
36.18 图生视频 SOP#
第一步,从批准关键帧编译 Motion Brief。第二步,区分主动作、微动作、环境和相机。第三步,限定时长与幅度。第四步,必要时写时间轴。第五步,生成少量候选并标记失败。第六步,选可用区间而非整段。第七步,检查首中末和末态。第八步,更新 State Out 与 Generation Ledger。第九步,失败时简化动作或改分镜。
36.19 故障树#
**症状:画面很活但故事不清。**运动没有主次。只保留一个主要状态变化。
**症状:末段变脸。**时长或动作过大。提前切、缩短或重生。
**症状:文件形状和文字流动。**运动中要求模型维护细节。降低运动,用图形跟踪合成。
**症状:无台词人物一直动嘴。**未明确禁止口型。加入静默约束或重做。
**症状:运镜抖动。**人物与相机同时复杂运动。固定相机或拆分。
36.20 检查表、练习与交付物#
检查主动作是否唯一;环境和相机是否从属;时长是否必要;时间轴是否可执行;首尾是否一致;是否有把手;口型是否有意;候选是否记录可用区间;失败是否先简化。
练习一:把“她走进来举文件并怒斥”拆成四个 Motion Brief。练习二:为同一关键帧设计静止、微动和中幅三版。练习三:从五秒候选标出两秒可用区间。
本章交付物:Motion Brief、时间轴提示、候选记录、可用区间、Motion QC、State Out、重试或改分镜决定。
36.21 运动合同与时间窗口#
Motion Contract 定义主体、动作相位、目标、摄影机、环境、必须保持和禁止事件。时间用窗口而非精确幻觉描述:0–0.6 秒准备,0.5–1.8 秒推动文件,1.6–2.6 秒停住并反应。重叠窗口给剪辑把手。

图 36-1 关键帧锁定身份、姿态、道具、世界位置和光线;绿色区域描述允许的身体与摄影机运动,红色区域保护不变量。生成结果只导出通过审核的可用区间,并把结束状态回写下一镜。
图中的开始与结束帧不是唯二检查点。中间帧仍需抽查身份、手、道具和背景;若错误恰好落在主要动作峰值,即使首尾恢复也不能通过。
motion_contract:
subject: CH_LINYUN
action: push_authorization
phases: [prepare, slide, settle]
preserve: [identity, right_hand, document_face_up, axis]
camera: static
forbidden: [left_hand_swap, page_flip, background_people_move]
usable_target: 1.4_seconds
模型输出越界时,先判断是否能截取合格区间,再决定重生。成片只需一段可用秒,不要求整个生成文件完美。
36.22 时间稳定性与中间帧审查#
首尾正确不代表中间正确。身份、手指、文字、背景和光线可能在中段漂移后恢复。Motion QC 按镜头风险选择首中末、动作峰值和固定间隔抽帧,同时正常速度观看感知问题。
对关键近景生成 contact strip 和差分视图,标记可用起止。短暂错误若位于可剪区外可接受;穿过主要动作或表情峰值则阻断。插帧、慢放和稳定处理后必须重新审查,中间帧可能引入新融合。
36.23 失败后的运动降级梯#
按顺序尝试缩短时长、减少同时运动、固定摄影机、拆成两镜、用插入与声音省略、分层合成或改为静态动态化。每次降级保留叙事目标,不把失败镜头无声删除。
英雄动作可投入更高成本,普通过场优先简化。三次相同根因失败后停止抽卡,返回关键帧、动作设计或模型路由。降级决定写入 Shot Ledger,后续复盘知道成片为何采用该语法。
研究依据说明#
实践中稳定的 2–5 秒片段、单一动作和时间轴描述,通常比“一镜完成一场戏”更可靠。剪辑负责把短运动组织成连续表演。