semi-structured-data-ingestion

# 半结构化数据接入 Skill

## 数据来源

本 Skill 支持多种半结构化数据源输入格式，核心数据来源包括：

### 1. 数据源类型
- **Excel文件**：.xls、.xlsx格式的Excel文件
- **表单数据**：在线表单、调查表单、登记表单
- **JSON文件**：JSON格式的半结构化数据
- **XML文件**：XML格式的半结构化数据

### 2. 数据结构类型
- **表格数据**：Excel表格、CSV表格
- **表单数据**：表单提交数据、表单响应数据
- **嵌套数据**：嵌套JSON、嵌套XML
- **混合数据**：混合格式数据

### 3. 数据格式要求
- **文件路径**：本地文件路径或网络文件URL
- **文件格式**：Excel、JSON、XML等格式
- **文件编码**：UTF-8、GBK、GB2312等
- **文件权限**：需要读取权限

### 4. 数据特征
- **数据规模**：小数据集（<1万条）、大数据集（>10万条）
- **数据结构**：规则结构、不规则结构
- **数据完整性**：完整数据、部分数据
- **数据质量**：高质量数据、低质量数据

> 说明：本 Skill 不包含数据采集功能，需要用户提供半结构化数据文件。建议数据格式规范，以便进行准确的数据接入。

---

## 功能

本 Skill 提供全面的半结构化数据接入能力，涵盖多种接入功能：

### 1. 文件读取
- **Excel读取**：读取Excel文件数据
- **JSON读取**：读取JSON文件数据
- **XML读取**：读取XML文件数据
- **文件格式识别**：自动识别文件格式

### 2. 数据结构解析
- **表格结构解析**：解析表格的行列结构
- **嵌套结构解析**：解析嵌套数据结构
- **结构识别**：识别数据结构模式
- **结构标准化**：标准化数据结构

### 3. 数据提取
- **数据提取**：从文件中提取数据
- **多工作表提取**：提取Excel多个工作表数据
- **选择性提取**：选择性提取指定数据
- **批量提取**：批量提取多个文件数据

### 4. 数据转换
- **格式转换**：转换数据格式
- **结构转换**：转换数据结构
- **编码转换**：转换数据编码
- **类型转换**：转换数据类型

### 5. 数据验证
- **数据完整性验证**：验证数据的完整性
- **数据准确性验证**：验证数据的准确性
- **数据一致性验证**：验证数据的一致性
- **数据质量评估**：评估数据的质量

### 6. 高级处理功能
- **数据清洗**：清洗数据中的问题
- **数据补全**：补全缺失的数据
- **数据标准化**：标准化数据格式
- **接入报告**：生成数据接入报告

---

## 使用示例

### 输出示例
```json
{
  "source_info": {
    "source_type": "excel_file",
    "source_file": "financial_data.xlsx",
    "file_size": 2048000,
    "sheet_count": 3
  },
  "ingestion_config": {
    "sheets": ["利润表", "资产负债表", "现金流量表"],
    "header_row": 1,
    "data_start_row": 2,
    "encoding": "UTF-8"
  },
  "ingestion_results": {
    "total_sheets": 3,
    "total_records": 5000,
    "successful_records": 4950,
    "failed_records": 50,
    "ingestion_time": "2024-03-15T10:00:00",
    "duration": "45s"
  },
  "data_structure": {
    "sheets": [
      {
        "sheet_name": "利润表",
        "row_count": 30,
        "column_count": 5,
        "headers": ["项目", "2024年", "2023年", "2022年", "2021年"],
        "data_records": 28
      }
    ]
  },
  "data_sample": [
    {
      "sheet": "利润表",
      "row": 2,
      "data": {
        "项目": "营业收入",
        "2024年": 1000000000,
        "2023年": 900000000,
        "2022年": 800000000,
        "2021年": 700000000
      }
    }
  ],
  "data_quality": {
    "completeness": 0.99,
    "accuracy": 0.97,
    "consistency": 0.96,
    "overall_score": 0.97
  },
  "statistics": {
    "files_processed": 1,
    "records_ingested": 4950,
    "records_failed": 50,
    "success_rate": 0.99
  }
}
```

---

## 注意事项与限制

### 1. 文件格式要求
- 标准格式文件接入准确率较高
- 非标准格式可能影响接入
- 文件损坏可能无法读取

### 2. 数据结构识别
- 规则结构识别准确率较高
- 不规则结构可能需要人工处理
- 复杂结构可能需要特殊处理

### 3. 数据提取准确性
- 标准表格提取准确率较高
- 复杂表格可能需要人工处理
- 合并单元格可能影响提取

### 4. 数据质量
- 数据质量影响接入结果
- 需要验证数据完整性
- 异常数据需要处理

### 5. 使用限制
- 本 Skill 不包含文件编辑功能
- 接入结果需要人工复核
- 复杂文件可能需要人工处理

---

## 参考资料
- 见 references/ 目录中的相关文档，包括：
  - 半结构化数据接入方法手册
  - Excel文件解析指南
  - JSON/XML解析说明
  - 性能优化指南