Overview
四种路线，一套统一思路
四种方式虽然使用的模型不同，但都可以抽象为：理解需求 → 规划 Scene → 生成视觉 → 生成动态 → 后期合成。
01 · HTML / PPT
内容驱动，先生成结构化页面，再配音合成。
01
02 · 关键帧 → 视频
脚本负责导演，生图负责关键画面，视频模型负责运动。
02
03 · 视频复刻
理解参考视频的镜头、动作与节奏，再生成相似内容。
03
04 · 商品展示视频
商品图片 + 通用提示词，批量生成电商广告素材。
04
Route 01
HTML / PPT → 视频
最稳定、最容易自动化的一条路线，尤其适合知识、教程、资讯和商业解说类内容。
核心流程
主题 / Prompt→LLM 文案→Storyboard→HTML / CSS→截图 PNG→TTS→图片 + 音频→FFmpeg
优势文字、图表、版式可精确控制；成本较低；易于批量生产。
适用知识科普、教程、行业资讯、数据解读、商业 PPT、产品说明。
核心问题静态截图容易产生“PPT 视频”感。
优化方向加入 CSS/SVG 动画、镜头缩放、字幕动画、BGM 和转场。
主题 / Prompt
↓
LLM → Script + Storyboard JSON
↓
HTML / CSS Renderer
↓
scene_01.png / scene_02.png / scene_03.png
↓
TTS → scene_01.wav / scene_02.wav / scene_03.wav
↓
Image + Audio → Clip
↓
Subtitle + BGM + Transition
↓
Final MP4
↓
LLM → Script + Storyboard JSON
↓
HTML / CSS Renderer
↓
scene_01.png / scene_02.png / scene_03.png
↓
TTS → scene_01.wav / scene_02.wav / scene_03.wav
↓
Image + Audio → Clip
↓
Subtitle + BGM + Transition
↓
Final MP4
Route 02
文案 + 关键帧 → AI 视频
让 LLM 扮演导演，让生图模型设计关键画面，再由视频模型将静态画面转化为动态镜头。
核心流程
用户需求→LLM Script→Storyboard→Image Prompt→关键帧→Video Model→Clip→Merge
优势视觉表现力强，支持人物、场景、产品、动作和电影化镜头。
适用广告、剧情短片、品牌宣传、旅游宣传、汽车/游戏/产品广告。
核心问题人物、服装、场景、产品和动作的跨镜头一致性。
关键机制Character Reference、Style Bible、Scene Bible、参考图。
推荐的 Scene JSON
{
"scene": 1,
"duration": 5,
"description": "一个女孩站在东京街头",
"camera": "slow dolly in",
"action": "女孩抬头看向天空",
"lighting": "golden hour",
"style": "cinematic",
"dialogue": "今天，是我来到东京的第一天。"
}
Route 03
视频复刻 / Reference Video
输入一个参考视频，让系统提取其镜头、动作、人物、节奏和风格，再生成新的相似内容。
A · 模型直接参考视频
部分视频模型原生支持 Reference Video，将参考视频和 Prompt 一起输入。
Reference Video+Prompt→Video Model→New Video
优点链路短、实现简单。
限制镜头和动作的精细控制能力取决于模型。
B · 视频理解 → 文案 → 视频
先用视频理解模型拆解参考视频，再将结构化信息交给生成系统。
Reference Video→Video Understanding→Storyboard JSON→Image / Video Gen
优点结构化、可控，方便替换人物、产品和场景。
限制链路更长，需要做好视频理解与重建。
视频理解建议输出
整体描述+Scene 切分+Camera+Action+人物/商品+Lighting+节奏+字幕/旁白
Route 04
商品图片 → 电商展示视频
针对电商场景优化：输入商品图和通用 Prompt，自动生成商品广告、展示和种草视频。
标准 Pipeline
商品图片→图片分析→商品卖点→Video Prompt→Image-to-Video→自动剪辑
优势输入简单，适合批量生产。
适用淘宝/抖音/Instagram/Reels 等电商短视频广告素材。
核心问题商品必须保持一致：形状、颜色、Logo、材质、结构不能随意变化。
关键策略优先使用 Product Reference + Image-to-Video，而不是纯 Text-to-Video。
Create a premium commercial video for the provided product. Style: premium commercial, clean studio lighting, high-end advertising. Camera: slow camera movement, close-up product shots, smooth cinematic motion. Composition: keep the product clearly visible and maintain its original appearance. Motion: subtle product rotation, slow camera push-in, professional advertising style. Duration: 8 seconds.
Comparison
四种方案对比
没有绝对的“最好方案”，应根据内容类型、成本、可控性和视觉要求选择路线。
| 维度 | 01 HTML/PPT | 02 关键帧→视频 | 03 视频复刻 | 04 商品视频 |
|---|---|---|---|---|
| 自动化 | ★★★★★ | ★★★★☆ | ★★★★☆ | ★★★★★ |
| 成本 | 低 | 中 / 高 | 高 | 中 |
| 视觉表现 | ★★★☆☆ | ★★★★★ | ★★★★★ | ★★★★☆ |
| 文字准确 | ★★★★★ | ★★★☆☆ | ★★★☆☆ | ★★★☆☆ |
| 可控性 | ★★★★★ | ★★★★☆ | ★★★☆☆ | ★★★★☆ |
| 批量生产 | ★★★★★ | ★★★★☆ | ★★★★☆ | ★★★★★ |
| 知识/教程 | ★★★★★ | ★★★☆☆ | ★★★☆☆ | ★★☆☆☆ |
| 广告/短片 | ★★★☆☆ | ★★★★★ | ★★★★★ | ★★★★★ |
Architecture
统一 AI Video Engine
如果最终要做成一个 AI 自动视频生成平台，建议不要把四条路线做成四套孤立系统，而是统一到 Storyboard 驱动的架构。
用户输入
→
Intent Analyzer
→
Video Planner
文本 / 图片 / 视频
→
Storyboard JSON
HTML Renderer
↔
Image Generator
↔
Video Model
TTS / Voice
+
Subtitle
+
BGM / SFX
Video Composer
→
MP4 / HLS
Core Idea
Storyboard JSON 是整个系统的“中间语言”
无论最终选择 HTML、图片生成、视频模型还是参考视频，都可以先统一转换成 Scene 级的结构化描述。
- 统一描述 Scene、时长、画面、镜头、动作
- 统一管理人物 / 商品 / 风格 Reference
- 统一处理旁白、字幕、BGM
- 统一交给 Video Composer 输出最终视频
Final Takeaway
四条路线的本质
方式 1 是 “内容 → PPT → 视频”；方式 2 是 “脚本 → 关键帧 → AI 视频”；方式 3 是 “参考视频 → 理解 / 模仿 → 新视频”；方式 4 是 “商品图 → 商品动态展示视频”。
真正适合产品化的核心，不是某一个具体的视频模型，而是“LLM 视频导演 + Storyboard JSON + 多模型 Renderer + 自动剪辑”的统一架构。