multi-source-data-aggregation

# 多源数据聚合 Skill

## 数据来源

本 Skill 支持多种数据源聚合输入格式，核心数据来源包括：

### 1. 数据源类型
- **数据库**：多个数据库数据源
- **API接口**：多个API接口数据源
- **文件数据**：多个文件数据源
- **流式数据**：多个流式数据源

### 2. 数据源特征
- **数据源数量**：少量数据源（<10个）、大量数据源（>100个）
- **数据源类型**：同类型数据源、混合类型数据源
- **数据更新频率**：实时更新、定时更新、批量更新
- **数据源可靠性**：高可靠性、低可靠性

### 3. 数据格式要求
- **数据源配置**：数据源连接配置信息
- **聚合规则**：数据聚合规则和策略
- **数据映射**：数据字段映射关系
- **数据格式**：数据格式和编码方式

### 4. 聚合特征
- **聚合方式**：合并、汇总、关联等聚合方式
- **聚合粒度**：明细级、汇总级、统计级
- **聚合时间**：实时聚合、定时聚合、批量聚合
- **聚合范围**：全量聚合、增量聚合

> 说明：本 Skill 不包含数据源配置功能，需要用户提供数据源配置信息。建议数据源稳定可靠，以便进行准确的数据聚合。

---

## 功能

本 Skill 提供全面的多源数据聚合能力，涵盖多种聚合功能：

### 1. 数据源管理
- **数据源连接**：连接多个数据源
- **数据源配置**：配置数据源参数
- **数据源监控**：监控数据源状态
- **数据源调度**：调度数据源访问

### 2. 数据提取
- **并行提取**：并行从多个数据源提取数据
- **增量提取**：增量提取数据源数据
- **全量提取**：全量提取数据源数据
- **选择性提取**：选择性提取指定数据

### 3. 数据聚合
- **数据合并**：合并多个数据源的数据
- **数据汇总**：汇总多个数据源的数据
- **数据关联**：关联多个数据源的数据
- **数据聚合**：聚合多个数据源的数据

### 4. 数据转换
- **格式转换**：转换数据格式
- **结构转换**：转换数据结构
- **字段映射**：映射数据字段
- **数据标准化**：标准化数据格式

### 5. 数据验证
- **数据完整性验证**：验证数据的完整性
- **数据准确性验证**：验证数据的准确性
- **数据一致性验证**：验证数据的一致性
- **数据质量评估**：评估数据的质量

### 6. 高级处理功能
- **数据去重**：去除重复数据
- **数据补全**：补全缺失数据
- **数据清洗**：清洗数据问题
- **聚合报告**：生成数据聚合报告

---

## 使用示例

### 输出示例
```json
{
  "source_info": {
    "source_count": 5,
    "source_types": ["database", "api", "file"],
    "aggregation_strategy": "merge"
  },
  "data_sources": [
    {
      "source_id": "SRC001",
      "source_type": "database",
      "source_name": "financial_db",
      "status": "connected",
      "records_count": 10000
    },
    {
      "source_id": "SRC002",
      "source_type": "api",
      "source_name": "market_data_api",
      "status": "connected",
      "records_count": 5000
    }
  ],
  "aggregation_config": {
    "aggregation_mode": "merge",
    "key_fields": ["stock_code", "trade_date"],
    "merge_strategy": "outer",
    "conflict_resolution": "latest"
  },
  "aggregation_results": {
    "total_records": 15000,
    "merged_records": 12000,
    "duplicate_records": 3000,
    "aggregation_time": "2024-03-15T10:00:00",
    "duration": "60s"
  },
  "aggregated_data": {
    "sample_records": [
      {
        "stock_code": "000001",
        "trade_date": "2024-03-15",
        "price": 10.50,
        "volume": 1000000,
        "source": ["SRC001", "SRC002"]
      }
    ]
  },
  "data_quality": {
    "completeness": 0.98,
    "accuracy": 0.97,
    "consistency": 0.96,
    "overall_score": 0.97
  },
  "statistics": {
    "sources_processed": 5,
    "records_aggregated": 12000,
    "aggregation_rate": "200 records/s",
    "success_rate": 0.98
  }
}
```

---

## 注意事项与限制

### 1. 数据源要求
- 数据源需要稳定可靠
- 连接信息需要准确
- 数据格式需要兼容

### 2. 数据聚合性能
- 多数据源可能影响性能
- 大数据量可能影响速度
- 需要合理设置聚合策略

### 3. 数据一致性
- 不同数据源数据可能不一致
- 需要处理数据冲突
- 需要验证数据一致性

### 4. 数据质量
- 数据质量影响聚合结果
- 需要验证数据完整性
- 异常数据需要处理

### 5. 使用限制
- 本 Skill 不包含数据源管理功能
- 聚合结果需要人工复核
- 复杂聚合可能需要特殊处理

---

## 参考资料
- 见 references/ 目录中的相关文档，包括：
  - 多源数据聚合方法手册
  - 数据源配置指南
  - 数据聚合策略说明
  - 性能优化指南