whisper-gpu-transcribe

# 🎙️ Whisper GPU Audio Transcriber

Convert audio files to SRT subtitles using local Whisper models — **completely free**, offline, and GPU accelerated.

---

## Use Cases

- Content creation, free alternative to paid subtitle features (e.g., CapCut/剪映)
- Meeting recording to text
- Podcast/course subtitles

---

## Supported GPU Acceleration

| Device | Acceleration | FP16 |
|--------|-------------|------|
| Intel Arc Series | XPU | ❌ Auto disabled |
| NVIDIA GPUs | CUDA | ✅ Auto enabled |
| AMD GPUs | ROCm | ✅ Auto enabled |
| Apple M Series | Metal | ✅ Auto enabled |
| No GPU | CPU | ❌ Auto disabled |

---

## Usage

### Basic Usage

Place the audio file in your current working directory and tell the AI:

```
Convert xxx.mp3 to SRT subtitles
```

Or specify the full path directly:

```
Convert /path/to/audio.mp3 to SRT subtitles
```

### Advanced Usage

```
Convert xxx.mp3 to English subtitles using large-v3-turbo model

Convert xxx.mp3 to subtitles, language is Japanese
```

---

## Execution

AI will execute the `scripts/transcribe.py` script, which will:

1. Automatically detect available GPU and select optimal acceleration
2. Load Whisper model (default: `turbo`)
3. Transcribe audio to SRT format
4. Save output in the same directory as the audio

---

## Requirements

- Python 3.8+
- PyTorch (version matching your hardware)
  - Intel GPU: `pip install torch==2.10.0+xpu`
  - NVIDIA GPU: `pip install torch --index-url https://download.pytorch.org/whl/cu121`
  - CPU: `pip install torch`
- openai-whisper: Automatically installed via `pip install openai-whisper`

---

## Notes

- First run will auto-download the model file (turbo ~1.5GB)
- Models cache in `~/.cache/whisper` by default, use symlink/Junction to redirect to another disk
- Intel XPU requires Intel Arc GPU + matching PyTorch version

> **Tip for China users**: If model download fails, manually download from mirror sites and place in `~/.cache/whisper/`

---

## Supported Models

| Model | Size | Speed | Accuracy |
|-------|------|-------|----------|
| `tiny` | 39M | Fastest | Low |
| `base` | 74M | Fast | Medium |
| `small` | 244M | Medium | Medium |
| `medium` | 769M | Slow | High |
| `turbo` | 809M | Medium | High ✅ Recommended |
| `large-v3` | 1550M | Slowest | Highest |
| `large-v3-turbo` | 1550M | Slow | Highest |

---
---

# 🎙️ Whisper GPU 音频转字幕

使用本地 Whisper 模型将音频文件转录为 SRT 字幕，**完全免费**，无需联网，支持 GPU 加速。

---

## 适用场景

- 自媒体视频制作，替代剪映付费字幕功能
- 会议录音转文字
- 播客/课程内容转字幕

---

## 支持的 GPU 加速

| 设备 | 加速方式 | FP16 |
|------|---------|------|
| Intel Arc 系列 | XPU | ❌ 自动禁用 |
| NVIDIA 显卡 | CUDA | ✅ 自动启用 |
| AMD 显卡 | ROCm | ✅ 自动启用 |
| Apple M 系列 | Metal | ✅ 自动启用 |
| 无独显 | CPU | ❌ 自动禁用 |

---

## 使用方法

### 基础用法

将音频文件放入当前工作目录，然后告诉 AI：

```
把 xxx.mp3 转成 SRT 字幕文件
```

或者直接指定路径：

```
把 /path/to/audio.mp3 转成 SRT 字幕
```

### 高级用法

```
把 xxx.mp3 用 large-v3-turbo 模型转成英文字幕

把 xxx.mp3 转成字幕，语言是日语
```

---

## 执行方式

AI 会调用 `scripts/transcribe.py` 脚本执行转录，脚本会：

1. 自动检测可用 GPU 设备并选择最优加速方式
2. 加载 Whisper 模型（默认 `turbo`）
3. 将音频转录为 SRT 格式字幕
4. 输出文件保存在与音频同目录

---

## 环境要求

- Python 3.8+
- PyTorch（版本需匹配硬件）
  - Intel GPU：`pip install torch==2.10.0+xpu`
  - NVIDIA GPU：`pip install torch --index-url https://download.pytorch.org/whl/cu121`
  - CPU：`pip install torch`
- openai-whisper：由 ClawHub 通过 `pip install openai-whisper` 自动安装

---

## 注意事项

- 首次运行会自动下载模型文件（turbo 约 1.5GB）
- 模型默认缓存在 `~/.cache/whisper`，可用软链接/Junction 指向其他磁盘
- Intel XPU 需要 Intel Arc 独显 + 对应版本 PyTorch

> **国内用户提示**：首次运行会自动下载模型，如下载失败可手动从镜像站下载后放入 `~/.cache/whisper/`

---

## 支持的模型

| 模型 | 大小 | 速度 | 准确度 |
|------|------|------|--------|
| `tiny` | 39M | 最快 | 低 |
| `base` | 74M | 快 | 中 |
| `small` | 244M | 中 | 中 |
| `medium` | 769M | 慢 | 高 |
| `turbo` | 809M | 中 | 高 ✅ 推荐 |
| `large-v3` | 1550M | 最慢 | 最高 |
| `large-v3-turbo` | 1550M | 慢 | 最高 |