Atras

📋 Checklist de Evaluación de Proveedores de IA

Herramienta operativa del Framework de Gobernanza de IA para selección y contratación de proveedores

📝
Información General de la Evaluación
Inaceptable
Alto
Limitado
Mínimo
Checklist Estándar
Para Riesgo Alto - ~25 criterios
19 criterios • 4 mandatorios
⚖️
SECCIÓN 1: CONFORMIDAD REGULATORIA Y GOBERNANZA (Peso: 25%)
ID Criterio de Evaluación 0 - No Cumple 1 - Cumple Parcialmente 2 - Cumple Plenamente Puntuación Evidencia/Referencia
1.1 Conformidad con el marco regulatorio colombiano (Ley 1581 de 2012, SIC). No tiene política de privacidad o desconoce la normativa. Tiene política de privacidad básica pero no totalmente alineada con la Ley 1581. No demuestra conocimiento profundo. Política de privacidad robusta, actualizada y claramente alineada con la Ley 1581. Compromiso contractual explícito.
1.2 Política de IA Responsable o Ética. No tiene política documentada. Tiene un borrador o política interna, pero no es pública ni está formalizada. Política pública formal y referenciable (ej.: en su sitio web), con principios claros y mecanismos de implementación.
1.3 Sistema de Gestión de IA (AIMS). No tiene un sistema de gestión para IA. Tiene elementos de un sistema (políticas, roles) pero no está formalizado, documentado o es inconsistente. Tiene un sistema documentado e implementado (ej.: basado en ISO/IEC 42001) o certificación ISO/IEC 42001 vigente.
1.4 Gestión de Riesgos de IA. No tiene un proceso definido para identificar y gestionar riesgos de IA. Realiza evaluaciones de riesgo de manera ad-hoc o solo para proyectos específicos, sin un proceso sistemático. Tiene un proceso sistemático y documentado de gestión de riesgos de IA.
CALIFICACIÓN SECCIÓN 1: 0/8
📊
SECCIÓN 2: DOCUMENTACIÓN Y TRANSPARENCIA TÉCNICA (Peso: 20%)
ID Criterio de Evaluación 0 - No Cumple 1 - Cumple Parcialmente 2 - Cumple Plenamente Puntuación Evidencia/Referencia
2.1 Model Card (Ficha del Modelo). No proporciona Model Card o la documentación es insuficiente. Proporciona un Model Card básico, pero le falta información clave (ej.: métricas desagregadas, limitaciones). Proporciona un Model Card completo con métricas de desempeño, casos de uso, limitaciones y evaluación de equidad.
2.2 Data Sheet (Ficha de Datos). No proporciona Data Sheet para los conjuntos de datos de entrenamiento. Proporciona una descripción básica de los datos, pero sin detalles sobre composición, sesgos o proceso de recolección. Proporciona un Data Sheet detallado con información sobre recolección, composición, pre-procesamiento, sesgos y limitaciones.
2.3 Documentación Técnica para Auditoría. No proporciona documentación técnica accesible. Proporciona documentación técnica superficial o desorganizada. Proporciona documentación técnica detallada (arquitectura, hiperparámetros, proceso de entrenamiento) y bitácoras de decisiones de diseño.
CALIFICACIÓN SECCIÓN 2: 0/6
🔒
SECCIÓN 3: PRIVACIDAD Y PROTECCIÓN DE DATOS (Peso: 20%)
ID Criterio de Evaluación 0 - No Cumple 1 - Cumple Parcialmente 2 - Cumple Plenamente Puntuación Evidencia/Referencia
3.1 Claridad sobre Titularidad de Datos. No hay claridad contractual sobre la propiedad de los datos (entrenamiento, operación, metadatos). La titularidad está definida, pero con ambigüedades sobre metadatos o datos derivados. Contrato define claramente la titularidad de todos los datos y metadatos generados.
3.2 Data Processing Agreement (DPA). No ofrece un DPA o se niega a suscribirlo. Ofrece un DPA básico que requiere ajustes significativos para cumplir con la Ley 1581. Ofrece un DPA robusto, alineado con la Ley 1581, que establece roles, obligaciones y mecanismos de auditoría.
3.3 Gestión de Derechos de los Titulares (Habeas Data). No tiene procedimientos para atender derechos de acceso, rectificación, supresión y oposición. Tiene procedimientos, pero son manuales, lentos o no garantizan los plazos legales (15 días). Tiene procedimientos operativos eficientes y canales claros para que la entidad y los ciudadanos ejerzan los derechos de habeas data.
3.4 Políticas de Retención y Borrado de Datos. No tiene políticas definidas de retención y borrado. Tiene políticas genéricas no específicas al proyecto de IA. Tiene políticas específicas de retención y borrado alineadas con la finalidad del tratamiento y se compromete.
CALIFICACIÓN SECCIÓN 3: 0/8
🛡️
SECCIÓN 4: SEGURIDAD Y ROBUSTEZ (Peso: 20%)
ID Criterio de Evaluación 0 - No Cumple 1 - Cumple Parcialmente 2 - Cumple Plenamente Puntuación Evidencia/Referencia
4.1 Certificaciones de Seguridad de la Información. No tiene certificaciones ni evidencias de prácticas de seguridad robustas. Tiene certificaciones básicas o reportes de auditoría de seguridad con hallazgos menores no corregidos. Tiene certificación ISO 27001 vigente o equivalente (ej.: SOC 2 Tipo II) y proporciona reportes recientes.
4.2 Pruebas de Robustez y Seguridad de IA. No ha realizado pruebas de robustez o seguridad específicas para el modelo de IA. Ha realizado pruebas básicas de rendimiento, pero no pruebas específicas para ataques adversarios o sesgos. Ha realizado pruebas de robustez (resistencia a datos fuera de distribución) y seguridad (ej.: evaluación de vulnerabilidades a ataques adversarios) con resultados documentados.
4.3 Respuesta a Incidentes de Seguridad. No tiene un protocolo documentado de respuesta a incidentes. Tiene un protocolo básico, pero no está actualizado o no se ha probado. Tiene un protocolo completo, actualizado y probado regularmente.
CALIFICACIÓN SECCIÓN 4: 0/6
🔍
SECCIÓN 5: AUDITORÍA Y RENDICIÓN DE CUENTAS (Peso: 10%)
ID Criterio de Evaluación 0 - No Cumple 1 - Cumple Parcialmente 2 - Cumple Plenamente Puntuación Evidencia/Referencia
5.1 Derecho a Auditoría. Se niega a incluir cláusulas de derecho a auditoría por parte de la entidad o un tercero. Acepta auditorías, pero con limitaciones significativas de alcance o acceso. Acepta cláusulas contractuales de derecho a auditoría, con acceso a documentación, logs y evidencias necesarias.
5.2 Trazabilidad de Decisiones. El sistema no registra logs de decisiones o son insuficientes para auditoría. Registra logs básicos, pero sin la información completa (ej.: sin versión del modelo o entradas específicas). Registra logs comprehensivos e inmutables de entradas, salidas, versión del modelo y timestamp para cada decisión.
CALIFICACIÓN SECCIÓN 5: 0/4
📞
SECCIÓN 6: CALIDAD DEL SERVICIO Y SOPORTE (Peso: 15%)
ID Criterio de Evaluación 0 - No Cumple 1 - Cumple Parcialmente 2 - Cumple Plenamente Puntuación Evidencia/Referencia
6.1 Acuerdos de Nivel de Servicio (SLA). No ofrece SLA o los compromisos no son cuantificables. Ofrece SLA con métricas básicas, pero sin penalizaciones claras por incumplimiento. Ofrece SLA robustos con métricas clave (uptime, tiempo de respuesta) y compensaciones definidas por incumplimiento.
6.2 Soporte Técnico y Transferencia de Conocimiento. No ofrece un plan de soporte adecuado o canales limitados. Ofrece soporte en horario laboral estándar y documentación básica. Ofrece soporte prioritario, múltiples canales y un plan de transferencia de conocimiento (capacitación, documentación técnica).
6.3 Gestión de Cambios y Roadmap. No comparte roadmap o notifica cambios con poca antelación. Comparte un roadmap de alto nivel y notifica cambios con antelación moderada. Comparte un roadmap detallado, notifica cambios con >30 días de antelación y permite la evaluación de impacto por parte de la entidad.
CALIFICACIÓN SECCIÓN 6: 0/6
📋
INFORME FINAL DE EVALUACIÓN
Resumen de la Evaluación
Proveedor Evaluado: -
Caso de Uso: -
Nivel de Riesgo: -
Checklist Aplicado: -
PUNTUACIÓN TOTAL PONDERADA: 0/10
⚠️ VERIFICACIÓN DE CRITERIOS DESCALIFICATORIOS (Cumplimiento MANDATORIO)
Resultado de verificación:
DICTAMEN FINAL
PROVEEDOR RECOMENDADO
Puntuación ≥ 8.0/10 Y cumple todos los mandatorios
PROVEEDOR RECOMENDADO CON CONDICIONES
Puntuación entre 6.0 y 7.9/10 Y cumple todos los mandatorios
PROVEEDOR NO RECOMENDADO
Puntuación < 6.0/10 O no cumple uno o más criterios mandatorios
Responsable Técnico
DPO/Área Jurídica
Comité de IA (Visto Bueno)