Evaluación híbrida de divergencias semánticas en migraciones ETL
EquiFrame compara transformaciones entre Pandas, Polars y DuckDB sobre datos de contratación pública del Ecuador (SERCOP–OCDS 2025), combinando reglas deterministas con Isolation Forest.
183 891 adjudicaciones
Corpus SERCOP–OCDS 2025 — snapshot 20261012-v1
3 parejas de motores
Pandas–Polars, Pandas–DuckDB y Polars–DuckDB
Reglas + Isolation Forest
Detección incremental de divergencias semánticas
Evidencia trazable
Cada resultado identificado por snapshot, motores y run_id
Explorar datos SERCOP
Corpus SERCOP–OCDS 2025 · snapshot 20261012-v1 · Datos sintéticos
Monto adjudicado mensual (USD)
Top 10 entidades por monto
Adjudicaciones
| OCID | Entidad | Proveedor | Monto (USD) | Moneda | Fecha | Estado | Modalidad |
|---|
Demostraciones EquiFrame
Casos que ilustran por qué una suma correcta no garantiza equivalencia semántica
Resultados y evidencia
Ejecuciones registradas con identidad propia — run_id, motores, familia y estado
| Run ID | Pareja | Familia | Resultado | Filas | Diferencias | Tiempo (s) | Fecha |
|---|
Datos y documentación
Catálogo de descargas, diccionario de campos y metodología
Corpus SERCOP–OCDS 2025
183 891 adjudicaciones · snapshot 20261012-v1 · formato Parquet
Diccionario de campos
Definición de cada campo del DW según el estándar OCDS y el modelo dimensional
| snapshot_id | Identificador de versión del conjunto |
| ocid | Open Contracting ID del proceso |
| award_id | Identificador de la adjudicación |
| monto | Importe exacto — una vez por adjudicación |
| moneda | Código ISO 4217 (USD) |
Metodología
Protocolo experimental: contratos, comparación, perfiles, evaluación
- Contratos de transformación por familia
- EquiFrame Verify (O): resultado esperado independiente
- Reglas R + Isolation Forest M + MAD B
- H = R OR M — detección híbrida
- Soportes pareados por pareja y familia
- Métricas: precisión, sensibilidad, F1, cobertura, costo
Proyecto EquiFrame
Biblioteca de validación de equivalencia semántica en migraciones ETL
Propósito
EquiFrame evalúa si una migración ETL entre motores conserva el contenido y las relaciones exigidos. Detecta divergencias que los controles de suma o conteo no capturan: valores intercambiados, pérdida de precisión, duplicados por join, cambio de zona horaria.
Autores
Hernán Troya · Jhair Alarcón · José Gaona
Maestría en Ciencia de Datos y Máquinas de Aprendizaje — UIDE, Ecuador 2026
Componentes
SnapshotClient
Descarga artefactos con verificación SHA-256. Garantiza reproducibilidad por versión.
JobManager
Gestiona trabajos ETL con escritor único. Estados: PENDING → RUNNING → DONE.
DWReader / DWWriter
Acceso controlado a DuckDB. Múltiples lectores simultáneos, escritura serializada con lock PID.
EquiFrame Verify (O)
Procedimiento de validación independiente: resultado esperado + comparación + revisión humana.
Repositorio
github.com/htroya/equiframe · rama main