audio-video-transcription

# 音视频转写 Skill

## 数据来源

本 Skill 支持多种音视频文件输入格式，核心数据来源包括：

### 1. 音频文件类型
- **音频格式**：MP3、WAV、AAC、FLAC、M4A等
- **录音文件**：电话录音、会议录音、访谈录音
- **语音文件**：语音留言、语音指令、语音报告

### 2. 视频文件类型
- **视频格式**：MP4、AVI、MOV、MKV、WMV等
- **视频会议**：会议录像、培训视频、演示视频
- **直播回放**：直播录像、网络研讨会回放

### 3. 音视频特征
- **语言类型**：中文、英文、多语言混合
- **音频质量**：清晰度、背景噪音、采样率
- **视频质量**：分辨率、帧率、清晰度
- **时长范围**：短音频（<5分钟）、长音频（>1小时）

### 4. 数据格式要求
- **文件路径**：本地文件路径或网络文件URL
- **文件编码**：支持常见音视频编码格式
- **文件权限**：需要读取权限

> 说明：本 Skill 不包含文件采集功能，需要用户提供音视频文件。建议文件质量良好，以便进行准确的转写。

---

## 功能

本 Skill 提供全面的音视频转写能力，涵盖多种转写功能：

### 1. 语音识别转写
- **实时转写**：实时识别和转写语音内容
- **批量转写**：批量处理多个音视频文件
- **分段转写**：按时间段分段转写
- **多说话人识别**：识别和区分不同说话人

### 2. 文本输出格式
- **纯文本输出**：输出纯文本转写结果
- **时间戳文本**：输出带时间戳的文本
- **分段文本**：按段落输出转写结果
- **结构化文本**：输出结构化的转写内容

### 3. 语言处理
- **多语言识别**：自动识别音视频中的语言
- **方言识别**：识别方言和口音
- **专业术语识别**：识别金融、法律等专业术语
- **标点符号添加**：自动添加标点符号

### 4. 音频处理
- **噪音降噪**：降低背景噪音影响
- **音量均衡**：均衡不同时段的音量
- **语速调整**：识别和处理不同语速
- **静音检测**：检测和标记静音片段

### 5. 视频处理
- **字幕提取**：提取视频中的字幕
- **画面文字识别**：识别视频画面中的文字
- **场景切换检测**：检测视频场景切换
- **关键帧提取**：提取关键帧画面

### 6. 高级处理功能
- **说话人分离**：分离不同说话人的语音
- **情感识别**：识别语音中的情感色彩
- **关键词提取**：提取转写文本中的关键词
- **摘要生成**：生成转写内容的摘要

---

## 使用示例

### 输出示例
```json
{
  "file_info": {
    "filename": "meeting_recording.mp3",
    "file_size": 51200000,
    "duration": 3600,
    "format": "mp3",
    "language": "zh-CN"
  },
  "transcription": {
    "full_text": "会议转写完整文本内容...",
    "segments": [
      {
        "start_time": 0,
        "end_time": 120,
        "speaker": "speaker_1",
        "text": "大家好，今天我们讨论一下项目进展。",
        "confidence": 0.95
      },
      {
        "start_time": 120,
        "end_time": 240,
        "speaker": "speaker_2",
        "text": "项目目前进展顺利，已完成80%的工作。",
        "confidence": 0.92
      }
    ]
  },
  "speakers": [
    {
      "speaker_id": "speaker_1",
      "name": "张三",
      "total_duration": 1800,
      "segment_count": 15
    },
    {
      "speaker_id": "speaker_2",
      "name": "李四",
      "total_duration": 1200,
      "segment_count": 10
    }
  ],
  "keywords": [
    "项目进展",
    "完成度",
    "下一步计划"
  ],
  "summary": "会议主要讨论了项目进展情况，目前已完成80%的工作，下一步将进行测试和验收。"
}
```

---

## 注意事项与限制

### 1. 文件格式要求
- 支持常见音视频格式
- 文件质量影响转写准确率
- 过大文件可能需要分段处理

### 2. 转写准确性
- 清晰音频转写准确率较高
- 背景噪音会影响识别准确率
- 方言和口音可能影响识别

### 3. 性能考虑
- 长音频处理可能需要较长时间
- 处理时间与音频时长成正比
- 建议对超长音频进行分段处理

### 4. 语言支持
- 主要支持中文和英文
- 其他语言识别准确率可能较低
- 多语言混合可能影响识别

### 5. 使用限制
- 本 Skill 不包含音视频编辑功能
- 转写结果需要人工复核
- 受保护文件可能无法处理

---

## 参考资料
- 见 references/ 目录中的相关文档，包括：
  - 音视频转写方法手册
  - 语音识别算法说明
  - 多说话人识别指南
  - 性能优化指南