Video Localize Dub — AI skill for Claude Code

video-localize-dub

**一个把中文短视频转换成英文版（英文配音 + 英文字幕）的 AI Agent Skill。** 作者是一名初三学生。

不会用？直接去 [Releases](https://github.com/emstudio010-hub/video-localize-dub/releases) 下载 `video-localize-dub.zip`， 解压后把文件夹交给你的 AI，跟它说「用 video-localize-dub 把我的视频做成英文版」就行，剩下的都由 AI 完成。

---

目录

• 它能做什么
• 3 分钟上手
• 完整流程
• API Key 配置
• 可以调的选项
• 硬件与耗时
• 文件结构
• 常见问题
• 限制
• 开发背景
• 共创者

---

它能做什么

输入一条中文短视频，输出同样分辨率、帧率、帧数的英文版视频：

步骤	做了什么	用到的技术
字幕识别	找出画面里所有字幕、标题、贴纸文字，不管在什么位置、横竖还是倾斜	RapidOCR（本地、离线、免费）
语音识别	识别中文语音和每个词的时间，区分不同说话人，生成每个人的试听片段	faster-whisper（本地），可选 MiMo ASR 校对
翻译台词	AI 按每句话的时长写自然的英文口语，并自动检查字数，保证念得完	你的 AI 本身
英文配音	按说话人分配音色，贴着原片说话时间放置，不重叠，语速只在 0.95–1.10 倍内微调，听起来均匀	小米 MiMo mimo-v2.5-tts
背景音乐	去掉原人声、保留原背景音乐，配音时自动压低音乐（ducking）	demucs（本地）
去除原字幕	每个字幕块单独选：修复 / 模糊 / 色块遮挡 / 保留；先出前后对比图给你确认	LaMa 或 OpenCV inpaint
英文字幕	位置、角度、大小、动画尽量和原字幕一致，支持卡拉 OK 式逐词高亮	Remotion
自检	检查尺寸/帧数/音频长度/配音重叠/字幕重叠/残留文字，生成检查图	verify.py

另外：

• 先确认再动手：音色、配音风格、字幕字体/颜色/大小/动画、每块字幕怎么去，AI 都会先问你。
• 硬件自适应：自动用 GPU 加速（NVIDIA / Apple 芯片 / AMD、Intel 实验性支持），没有 GPU 就用 CPU，换电脑不用改配置。
• 可以断点续跑：去字中途被打断，再运行一次会从上次的位置接着做。

本项目只做视频本地化，**不包含去重、二创、规避平台查重之类的功能**。一方面这类需求部分模型会拒绝执行，另一方面也希望这个 skill 保持干净。

3 分钟上手

**你需要准备：**

• 一台 Windows 电脑（目前只在 Windows 上完整测试过）
• Python 3.10 或更高（推荐 3.12，下载：https://www.python.org/，安装时勾选 Add to PATH）
• 一个支持 skill 的 AI Agent，例如 Claude Code、Antigravity
• 一个 MiMo API Key（免费申请，见下文）

**步骤：**

1. 从 Releases 下载 video-localize-dub.zip 并解压。
2. 把解压出来的 video-localize-dub 文件夹放进 agent 的 skills 目录：
   • Claude Code：C:\Users\<你的用户名>\.claude\skills\video-localize-dub
   • 其它 agent：放到它读取 skill 的目录，或者直接告诉 AI 这个文件夹的位置
3. 对 AI 说：

   用 video-localize-dub 把 D:\videos\a.mp4 做成英文配音版，输出到 D:\out

4. AI 第一次会运行 scripts/setup.py 自动装环境，新电脑大约需要 5–30 分钟，主要是下载。
5. AI