Clips AI
Clips AI 是一个开源的 Python 库,可以将长视频转换为短片段,并重新调整为竖屏格式。你可以通过 pip 安装它,使用 WhisperX 转录播客或访谈,然后调用 ClipFinder 将转录文本分段为片段的开始和结束时间。开发者将这些时间戳集成到自己的流程中,而不是上传文件到托管的剪辑编辑器。
消费者剪辑工具将分段逻辑隐藏在网页上传表单后面。Clips AI 则在 Whisper 转录文本上公开使用带有 BERT 嵌入的 TextTiling,以及一个独立的调整路径,该路径通过 Pyannote 说话人分离、PySceneDetect 和人脸检测跟踪当前说话者。该技术栈针对播客和讲道等叙事音频,而非无声 B-roll 的快速表情包剪辑。
适合构建播客再利用工作流的工程师、媒体初创公司和需要程序化剪辑边界及在自有服务器上进行 16:9 到 9:16 重构的研究团队。适合已经运行 Python 并希望在调整步骤中使用 Hugging Face Pyannote 令牌,而非使用黑盒 SaaS 导出按钮的团队。
从GitHub使用pip install clipsai plus WhisperX进行逐字转录时间戳
ClipFinder使用TextTiling和BERT嵌入对转录进行分段,返回开始和结束时间
Resize功能使用Pyannote说话人分离将16:9视频重新构框为9:16
人脸检测结合MTCNN和MediaPipe与PySceneDetect场景变化检测
MediaEditor在Python中裁剪或调整源文件到导出片段路径
专为播客、访谈、演讲和布道配有叙事音频设计
WhisperX batch_size默认为16,支持ISO 639-1语言自动检测
你可以在自己的基础设施上运行的开源库
逐字WhisperX时间戳提供精确的片段边界
说话人感知的调整流程自动重新构框为9:16
清晰的Python API支持转录、剪辑、裁剪和调整大小步骤
专为叙事长格式音频内容设计
需要Python环境设置以及WhisperX和Pyannote依赖
Pyannote Hugging Face令牌是调整功能的必要条件
网站上没有面向非开发者用户的托管GUI
叙事音频焦点意味着不适用于静音动作片段
Clips AI 是免费使用的吗?
是的,Clips AI 是一个开源的 Python 库,在 clipsai.com 上发布。您可以通过 pip 安装,并在本地运行剪辑和调整大小的代码,无需文档网站上列出的付费订阅。
Clips AI 支持哪些类型的视频?
Clips AI 主要针对以音频为中心的叙事视频,如播客、访谈、演讲和布道。主页文档说明剪辑算法分析的是转录文本,而非动作丰富的无声画面。
Clips AI 如何确定剪辑边界?
Clips AI 使用 WhisperX 进行转录,然后 ClipFinder 在转录文本上应用带有 BERT 嵌入的 TextTiling。剪辑参考页面表示它能在句子粒度检测主题转换,从而返回开始和结束时间。
Clips AI 如何将视频调整为竖屏格式?
Clips AI 的调整大小功能使用 Pyannote 说话人分离、PySceneDetect 场景变化检测,以及 MTCNN 和 MediaPipe 人脸检测。Clips AI 返回跟随说话者的裁剪片段,默认将宽高比转换为 9:16。
使用 Clips AI 调整大小需要 Hugging Face 令牌吗?
是的,调整大小时需要。调整大小文档要求使用来自 Hugging Face 的 Pyannote 认证令牌。Clips AI 文档指出,使用该令牌调用 Pyannote 不会产生费用。
Clips AI 能转录非英语音频吗?
能。Clips AI 的 Transcriber 类接受一个可选的 ISO 639-1 语言代码,若未提供则默认自动检测媒体语言。WhisperX 负责 Clips AI 的底层转录。
Clips AI 有托管的网页版应用吗?
没有。Clips AI 是一个开发者库,clipsai.com 上有 Python API 示例。您需要在自己的环境中运行转录、剪辑和调整大小,而非通过浏览器上传界面。

