field-mapping-normalization

# 字段映射与标准化 Skill

## 数据来源

本 Skill 支持多种异构数据输入格式，核心数据来源包括：

### 1. 数据源类型
- **数据库**：多个不同结构的数据库
- **API接口**：多个不同格式的API接口
- **文件数据**：多个不同格式的文件
- **系统数据**：多个不同系统的数据

### 2. 字段特征
- **字段名称**：不同命名规则的字段名称
- **字段类型**：不同数据类型的字段
- **字段格式**：不同格式的字段值
- **字段单位**：不同单位的字段值

### 3. 数据格式要求
- **源数据**：需要映射的源数据
- **目标数据**：目标数据格式和结构
- **映射规则**：字段映射规则和转换规则
- **标准规范**：字段标准规范定义

### 4. 映射特征
- **映射类型**：一对一映射、一对多映射、多对一映射
- **映射复杂度**：简单映射、复杂映射
- **映射规则**：规则映射、自定义映射
- **映射范围**：部分字段映射、全字段映射

> 说明：本 Skill 不包含数据采集功能，需要用户提供源数据和映射规则。建议映射规则清晰明确，以便进行准确的字段映射和标准化。

---

## 功能

本 Skill 提供全面的字段映射与标准化能力，涵盖多种映射功能：

### 1. 字段映射
- **字段名称映射**：映射不同名称的字段
- **字段类型映射**：映射不同类型的字段
- **字段格式映射**：映射不同格式的字段
- **字段单位映射**：映射不同单位的字段

### 2. 字段标准化
- **字段名称标准化**：标准化字段名称
- **字段类型标准化**：标准化字段类型
- **字段格式标准化**：标准化字段格式
- **字段值标准化**：标准化字段值

### 3. 数据转换
- **格式转换**：转换数据格式
- **类型转换**：转换数据类型
- **单位转换**：转换数据单位
- **编码转换**：转换数据编码

### 4. 映射规则管理
- **规则定义**：定义字段映射规则
- **规则验证**：验证映射规则的有效性
- **规则应用**：应用映射规则到数据
- **规则优化**：优化映射规则性能

### 5. 数据验证
- **映射完整性验证**：验证映射的完整性
- **映射准确性验证**：验证映射的准确性
- **数据一致性验证**：验证数据的一致性
- **标准化结果验证**：验证标准化结果

### 6. 高级处理功能
- **批量映射**：批量处理多个字段映射
- **增量映射**：增量更新字段映射
- **映射报告**：生成字段映射报告
- **映射监控**：监控映射过程和结果

---

## 使用示例

### 输出示例
```json
{
  "source_info": {
    "source_data": "financial_data.csv",
    "source_format": "csv",
    "field_count": 20
  },
  "target_info": {
    "target_format": "standard_financial",
    "target_schema": "financial_schema_v1"
  },
  "mapping_rules": [
    {
      "source_field": "revenue",
      "target_field": "营业收入",
      "standard_field": "revenue",
      "mapping_type": "direct",
      "transformation": {
        "type": "unit_conversion",
        "from_unit": "USD",
        "to_unit": "CNY",
        "exchange_rate": 7.2
      }
    },
    {
      "source_field": "profit",
      "target_field": "净利润",
      "standard_field": "net_income",
      "mapping_type": "direct",
      "transformation": null
    }
  ],
  "mapping_results": {
    "total_fields": 20,
    "mapped_fields": 18,
    "unmapped_fields": 2,
    "mapping_time": "2024-03-15T10:00:00",
    "duration": "5s"
  },
  "normalized_data": {
    "sample_records": [
      {
        "revenue": 7200000000,
        "net_income": 200000000,
        "standard_format": true
      }
    ]
  },
  "statistics": {
    "fields_mapped": 18,
    "fields_normalized": 18,
    "mapping_accuracy": 0.95,
    "normalization_accuracy": 0.97
  }
}
```

---

## 注意事项与限制

### 1. 映射规则要求
- 映射规则需要清晰明确
- 规则需要覆盖所有字段
- 规则需要验证有效性

### 2. 数据转换准确性
- 标准转换准确率较高
- 复杂转换可能需要特殊处理
- 单位转换需要正确汇率

### 3. 字段标准化
- 标准字段标准化准确率较高
- 非标准字段可能需要人工处理
- 字段值标准化需要正确处理

### 4. 数据一致性
- 需要保证映射后数据一致性
- 需要验证映射结果
- 异常数据需要处理

### 5. 使用限制
- 本 Skill 不包含数据采集功能
- 映射结果需要人工复核
- 复杂映射可能需要特殊处理

---

## 参考资料
- 见 references/ 目录中的相关文档，包括：
  - 字段映射与标准化方法手册
  - 字段标准规范定义
  - 映射规则配置指南
  - 性能优化指南