第 36 章 图生视频与运动设计

第七部 图像、视频、表演与合成生成

第 36 章 图生视频与运动设计#

本章目录
36.1 运动必须服务状态变化36.2 Motion Brief36.3 2–5 秒不是绝对,但很实用36.4 时间轴提示36.5 运动幅度36.6 摄影机与人物不要争夺36.7 首帧、末帧和把手36.8 无口型、口型与画外36.9 环境运动36.10 候选选择36.11 循环、慢动作和速度调整36.12 Motion QC36.13 用动作相位代替模糊动词36.14 先做运动预演,再花生成预算36.15 可用区间与编辑把手36.16 多镜头动作的交接测试36.17 《逆光收购》的进入会议室36.18 图生视频 SOP36.19 故障树36.20 检查表、练习与交付物36.21 运动合同与时间窗口36.22 时间稳定性与中间帧审查36.23 失败后的运动降级梯研究依据说明

36.1 运动必须服务状态变化#

关键帧已经成立,视频只需完成镜头必要变化。让头发、背景、摄影机和所有人物同时运动,会增加漂移而不增加故事。

将运动分为人物主动作、人物微动作、环境运动和摄影机运动。每镜一个主动作,其余保持低幅度。

36.2 Motion Brief#

motion_request:
  shot: E001_S09
  duration: 3.5s
  start_frame: KF_E001_S09_START@v04
  character_action: 右手将授权书向前推12cm后停住
  micro_action: 手指自然放松一次
  environment: 背景人物保持模糊静止
  camera: 极轻微推进
  end_state: 标题与签名区稳定停留0.6s
  forbidden:
    - 手指数量变化
    - 文件旋转
    - 背景人物走动
    - 生成文字变化

距离值表示尺度,不保证像素级控制;重点是动作短、方向明确、结束可剪。

36.3 2–5 秒不是绝对,但很实用#

短镜头减少身份与物理漂移,便于挑选稳定中段。长镜头应由稳定静止、简单运动或真实必要性支持。不要为了单次生成时长把多个 beat 塞入。

生成五秒不等于使用五秒。记录最终可用区间。

36.4 时间轴提示#

复杂一点的动作按秒或阶段描述:

0.0-0.8s 视线停在文件上,身体不动。
0.8-2.2s 右手平稳向前推文件。
2.2-3.0s 文件停住,手指松开。
3.0-3.5s 保持静止,摄影机微推。

时间轴只安排可同时完成的少量变化。模型无法严格执行时,仍能提供优先级和动作顺序。

36.5 运动幅度#

微动作最稳:眨眼、呼吸、轻转头、手指敲一下、衣料小幅运动。中幅动作如站起、递物、走两步需要更多状态控制。大幅动作、接触和多人运动优先拆镜或分层。

用低、中、高幅度标签记录风险,并设置尝试预算。

36.6 摄影机与人物不要争夺#

人物完成重要动作时,相机保持静或简单推进;复杂相机运动时,人物动作应更简单。环绕、快速推拉和手持会同时改变背景、脸和遮挡,风险高。

运镜结束必须带来新信息。没有揭露就不动。

36.7 首帧、末帧和把手#

首帧必须是批准关键帧或经过核验的变体。末帧要求可达、身份稳定、状态正确并保留短暂停留。前后把手给剪辑选择,避免使用模型启动抖动。

支持首尾帧时,先检查两帧人物、手、道具和空间一致。差异过大会导致中间融化。

36.8 无口型、口型与画外#

普通运动镜头默认不产生说话嘴形。对白可采用画外、背面、过肩、反应或短正面口型。避免人物无台词却持续嘴动。

口型同步属于独立高风险路线,需使用最终音频并检查身份与表演,不与复杂动作同时进行。

36.9 环境运动#

窗帘、雨、屏幕光和背景人群要遵守环境状态。风向、雨强和人群动作跨镜保持。背景运动幅度低于主体,避免抢注意。

完全静止的环境也可以通过声音维持生命,不必强迫画面每处运动。

36.10 候选选择#

每个候选记录首帧偏差、动作完成度、身份漂移、物理错误、相机稳定和可用区间。选择“最可剪”的,不一定是运动最多的。

同一视频可截取不同区间用于正片和广告,但所有使用都登记父记录。

36.11 循环、慢动作和速度调整#

循环只适合重复环境或微动作,人物情绪动作循环会显得机械。慢动作不能修复错误物理,只会放大。轻微速度调整可匹配剪辑,但口型、雨和行走会暴露变化。

需要停留时,优先生成稳定末态或使用极轻微活帧,不无限冻结脸。

36.12 Motion QC#

检查身份首中末、手与道具、动作方向、相机、背景、末态和可剪把手。正常速度先看感知,再逐帧找阻断错误。音频临时铺入,确认动作节奏能承载台词和音效。

36.13 用动作相位代替模糊动词#

“她把文件递过去”至少包含准备、接近、交接、释放和完成五个相位。若镜头只需要表达主动施压,可以只生成接近到完成;若剧情关键是对方不肯接,则必须保留接近与悬停,不能让模型自动完成交接。

Motion Brief 应明确镜头覆盖哪些相位,以及在哪个相位剪出:

action_phases:
  action_id: ACT_AUTHORIZATION_HANDOFF
  covered: [approach, hold]
  omitted: [grasp, release]
  start: 文件平放桌面,林筠右手压住右上角
  cut_point: 文件越过桌面中线后停住
  state_out: 文件仍由林筠控制,周岚尚未触碰
  dramatic_meaning: 这是挑战,不是礼貌递交

相位设计同时保护连续性和戏剧含义。下一镜如果从周岚的手已经抓住文件开始,就必须另有交接镜头或允许明确的省略;不能让物体在切点中无因换主。

36.14 先做运动预演,再花生成预算#

中幅以上动作可以用手机真人走位、简陋 3D、静帧推拉或剪辑 animatic 预演。预演不追求视觉质量,只验证时长、方向、遮挡、切点和声音节奏。三秒是否够转身再落座,用真人做一次比连续生成二十次更便宜。

预演还会暴露“镜头其实不需要动”。如果把对白、反应和音效放入静帧 animatic 后,权力变化已经成立,就可以只生呼吸、眼线或微推。运动不是价值本身;它是信息变化的载体。

36.15 可用区间与编辑把手#

生成文件必须记录三段:启动污染区、可用区、衰变区。很多结果前 0.3 秒从静帧突然活起来,末尾 0.8 秒开始变脸。只写“这条能用”会让剪辑师反复寻找真正区间。

usable_segment:
  source: GEN_E001_S09_006
  source_duration: 5.0
  in: 0.62
  out: 3.18
  preferred_cut_in: 0.84
  preferred_cut_out: 2.92
  state_at_in: hand_begins_push
  state_at_out: document_stable
  defects_outside_range: [startup_warp, late_identity_drift]

首选切点之外仍要尽量保留 6–12 帧把手,给声音、反应和节奏调整空间。若最终采用区间没有把手,应在剪辑账本标记为脆弱镜头;后续台词或配乐长度变化时,它可能必须重做。

36.16 多镜头动作的交接测试#

每条视频单独通过后,还要做三连检查:前镜最后 8–12 帧、当前镜全段、后镜最初 8–12 帧连续播放。检查动作速度是否突然变化、人物重心是否跳跃、视线是否换目标、环境运动是否重启、摄影机是否发生无意跳切。

动作速度可用三档记录:蓄力、执行、余波。前镜是快速执行,反打可以进入余波静止;但如果反打又从蓄力开始,观众会感觉动作重复。生成工位必须交付状态变化,不只是视频文件。

36.17 《逆光收购》的进入会议室#

初稿把“林筠推门、走到桌边、拿出授权书、面对众人说话”写成一个七秒镜头。测试中人物每走一步脸部都在变化,授权书会从手提包中凭空出现,摄影机后退时会议室几何也不断伸缩。

重做后分为五个可控任务:门把转动和门开;林筠跨过门槛后停步;众人转头;她把文件夹放到桌面;正面短口型说“从现在起,我代表收购方”。声音用门响、脚步和会议室 room tone 将五镜粘合,台词前留出半秒安静。镜头数量增加了,生成总尝试数反而下降,而且每一个切点都在加强她夺取空间的过程。

36.18 图生视频 SOP#

第一步,从批准关键帧编译 Motion Brief。第二步,区分主动作、微动作、环境和相机。第三步,限定时长与幅度。第四步,必要时写时间轴。第五步,生成少量候选并标记失败。第六步,选可用区间而非整段。第七步,检查首中末和末态。第八步,更新 State Out 与 Generation Ledger。第九步,失败时简化动作或改分镜。

36.19 故障树#

**症状:画面很活但故事不清。**运动没有主次。只保留一个主要状态变化。

**症状:末段变脸。**时长或动作过大。提前切、缩短或重生。

**症状:文件形状和文字流动。**运动中要求模型维护细节。降低运动,用图形跟踪合成。

**症状:无台词人物一直动嘴。**未明确禁止口型。加入静默约束或重做。

**症状:运镜抖动。**人物与相机同时复杂运动。固定相机或拆分。

36.20 检查表、练习与交付物#

检查主动作是否唯一;环境和相机是否从属;时长是否必要;时间轴是否可执行;首尾是否一致;是否有把手;口型是否有意;候选是否记录可用区间;失败是否先简化。

练习一:把“她走进来举文件并怒斥”拆成四个 Motion Brief。练习二:为同一关键帧设计静止、微动和中幅三版。练习三:从五秒候选标出两秒可用区间。

本章交付物:Motion Brief、时间轴提示、候选记录、可用区间、Motion QC、State Out、重试或改分镜决定。

36.21 运动合同与时间窗口#

Motion Contract 定义主体、动作相位、目标、摄影机、环境、必须保持和禁止事件。时间用窗口而非精确幻觉描述:0–0.6 秒准备,0.5–1.8 秒推动文件,1.6–2.6 秒停住并反应。重叠窗口给剪辑把手。

图 36-1 批准关键帧以几何合同限制运动并输出可用区间

图 36-1 关键帧锁定身份、姿态、道具、世界位置和光线;绿色区域描述允许的身体与摄影机运动,红色区域保护不变量。生成结果只导出通过审核的可用区间,并把结束状态回写下一镜。

图中的开始与结束帧不是唯二检查点。中间帧仍需抽查身份、手、道具和背景;若错误恰好落在主要动作峰值,即使首尾恢复也不能通过。

motion_contract:
  subject: CH_LINYUN
  action: push_authorization
  phases: [prepare, slide, settle]
  preserve: [identity, right_hand, document_face_up, axis]
  camera: static
  forbidden: [left_hand_swap, page_flip, background_people_move]
  usable_target: 1.4_seconds

模型输出越界时,先判断是否能截取合格区间,再决定重生。成片只需一段可用秒,不要求整个生成文件完美。

36.22 时间稳定性与中间帧审查#

首尾正确不代表中间正确。身份、手指、文字、背景和光线可能在中段漂移后恢复。Motion QC 按镜头风险选择首中末、动作峰值和固定间隔抽帧,同时正常速度观看感知问题。

对关键近景生成 contact strip 和差分视图,标记可用起止。短暂错误若位于可剪区外可接受;穿过主要动作或表情峰值则阻断。插帧、慢放和稳定处理后必须重新审查,中间帧可能引入新融合。

36.23 失败后的运动降级梯#

按顺序尝试缩短时长、减少同时运动、固定摄影机、拆成两镜、用插入与声音省略、分层合成或改为静态动态化。每次降级保留叙事目标,不把失败镜头无声删除。

英雄动作可投入更高成本,普通过场优先简化。三次相同根因失败后停止抽卡,返回关键帧、动作设计或模型路由。降级决定写入 Shot Ledger,后续复盘知道成片为何采用该语法。

研究依据说明#

实践中稳定的 2–5 秒片段、单一动作和时间轴描述,通常比“一镜完成一场戏”更可靠。剪辑负责把短运动组织成连续表演。