structured-data-ingestion

# 结构化数据接入 Skill

## 数据来源

本 Skill 支持多种结构化数据源输入格式，核心数据来源包括：

### 1. 数据源类型
- **数据库**：MySQL、PostgreSQL、Oracle、SQL Server等关系型数据库
- **API接口**：REST API、GraphQL API、SOAP API
- **表格文件**：CSV文件、Excel文件、TSV文件
- **数据仓库**：数据仓库、数据湖

### 2. 数据结构类型
- **关系型数据**：表结构数据、关系数据
- **键值数据**：键值对数据、字典数据
- **JSON数据**：JSON格式的结构化数据
- **XML数据**：XML格式的结构化数据

### 3. 数据格式要求
- **连接信息**：数据库连接字符串、API端点地址
- **认证信息**：用户名密码、API密钥、Token
- **查询信息**：SQL查询语句、API请求参数
- **数据格式**：数据格式和编码方式

### 4. 数据特征
- **数据规模**：小数据集（<1万条）、大数据集（>100万条）
- **数据更新频率**：实时更新、定时更新、批量更新
- **数据完整性**：完整数据、部分数据
- **数据质量**：高质量数据、低质量数据

> 说明：本 Skill 不包含数据源配置功能，需要用户提供数据源连接信息。建议数据源稳定可靠，以便进行准确的数据接入。

---

## 功能

本 Skill 提供全面的结构化数据接入能力，涵盖多种接入功能：

### 1. 数据源连接
- **数据库连接**：连接各类关系型数据库
- **API连接**：连接各类API接口
- **文件读取**：读取各类表格文件
- **连接管理**：管理数据源连接

### 2. 数据查询
- **SQL查询**：执行SQL查询语句
- **API请求**：发送API请求获取数据
- **文件读取**：读取文件数据
- **查询优化**：优化查询性能

### 3. 数据提取
- **数据提取**：从数据源提取数据
- **增量提取**：增量提取数据
- **全量提取**：全量提取数据
- **批量提取**：批量提取数据

### 4. 数据转换
- **格式转换**：转换数据格式
- **结构转换**：转换数据结构
- **编码转换**：转换数据编码
- **类型转换**：转换数据类型

### 5. 数据验证
- **数据完整性验证**：验证数据的完整性
- **数据准确性验证**：验证数据的准确性
- **数据一致性验证**：验证数据的一致性
- **数据质量评估**：评估数据的质量

### 6. 高级处理功能
- **数据缓存**：缓存数据提高性能
- **数据同步**：同步数据源数据
- **错误处理**：处理数据接入错误
- **接入报告**：生成数据接入报告

---

## 使用示例

### 输出示例
```json
{
  "source_info": {
    "source_type": "database",
    "source_name": "financial_db",
    "connection_string": "mysql://user:pass@host:3306/db",
    "table_name": "stock_prices"
  },
  "ingestion_config": {
    "extraction_mode": "incremental",
    "time_field": "trade_date",
    "last_sync_time": "2024-03-14T10:00:00",
    "batch_size": 1000
  },
  "ingestion_results": {
    "total_records": 5000,
    "new_records": 500,
    "updated_records": 4500,
    "failed_records": 0,
    "ingestion_time": "2024-03-15T10:00:00",
    "duration": "30s"
  },
  "data_sample": [
    {
      "trade_date": "2024-03-15",
      "stock_code": "000001",
      "open_price": 10.50,
      "close_price": 10.80,
      "volume": 1000000
    }
  ],
  "data_quality": {
    "completeness": 1.0,
    "accuracy": 0.99,
    "consistency": 0.98,
    "overall_score": 0.99
  },
  "statistics": {
    "records_ingested": 5000,
    "records_failed": 0,
    "ingestion_rate": "166.7 records/s",
    "success_rate": 1.0
  }
}
```

---

## 注意事项与限制

### 1. 数据源要求
- 数据源需要稳定可靠
- 连接信息需要准确
- 认证信息需要有效

### 2. 数据接入性能
- 大数据量可能影响性能
- 网络延迟可能影响速度
- 需要合理设置批处理大小

### 3. 数据质量
- 数据质量影响接入结果
- 需要验证数据完整性
- 异常数据需要处理

### 4. 错误处理
- 连接错误需要重试机制
- 数据错误需要记录日志
- 需要监控接入状态

### 5. 使用限制
- 本 Skill 不包含数据源管理功能
- 接入结果需要人工复核
- 复杂数据源可能需要特殊处理

---

## 参考资料
- 见 references/ 目录中的相关文档，包括：
  - 结构化数据接入方法手册
  - 数据源连接配置指南
  - 数据转换规则说明
  - 性能优化指南