Saltar al contenido

Auditoría Algorítmica & Benchmarking

Nuestro servicio para evaluar soluciones & liberar todo el potencial de la IA de confianza

Se trata de hacer tu organización más competitiva

Identificamos los puntos débiles de los sistemas de IA que ponen en riesgo tus operaciones, incrementando la responsabilidad algorítmica.

Te entregamos todas las recomendaciones necesarias para progresar hacia una solución de IA competitiva.

Qué revisamos

Validación Interna & Selección de Modelo

Repasamos en detalle el esquema de desarrollo & validación del sistema de IA, revisando aspectos de la selección de modelo & feature engineering, relacionados con el temible overfitting.

Validación Externa & Real World Test

Realizamos tests de estrés en condiciones reales para obtener estimaciones precisas del rendimiento del sistema de IA en el mundo real, y de su impacto en tus operaciones.

Explicabilidad & Transparencia

Evaluamos porqué & cómo el sistema de IA hace sus predicciones; reducimos la peligrosa noción de black-box IA & facilitamos el tratamiento de errores.

Reproducibilidad & Fiabilidad

Pilares de la innovación científica, te permitimos entender los qués & cómos del sistema de IA, identificando sus límites.

Justicia & Sesgos

Buscamos los sesgos que sabotean la operación de Ia IA, así como problemas de data drifting.

Otras Consideraciones de Datos

Limitación de propósito, proporcionalidad, minimización de datos, privacidad, titularidad, regulación. Cumplimiento del RGPD.

Evaluación algorítmica & benchmarking te ayudan a...

Tener un plan seguro de despliegue que maximiza el impacto de la IA

Responder a organismos reguladores y e.g. obtener tu certificación médica

Ahorrar inversiones de tiempo & dinero innecesarias en una solución fallida

Adherirse a un uso responsable de sistemas de IA

Cómo lo hacemos

  1. Preparación
    Establecemos cuál es el contexto operacional, el uso de la solución de IA, y el enfoque de la revisión.
  2. Revisión
    Realizamos una evaluación exhaustiva de la documentación disponible sobre el desarrollo y operación de la solución de IA, identificando los aspectos que carecen de evidencia y son peligrosos para la operación de la IA.
  3. Test & Benchmarking
    Diseñamos un real-world experiment para detectar fallas del sistema, diseñamos el experimento para maximizar su relevancia y la información que extrae.
  4. Mejora
    Destilamos los hallazgos y proporcionamos información práctica. Esto incluye la evaluación y puntuación de la solución de IA, recomendaciones para abordar los hallazgos de la revisión, con el objetivo de impulsar una IA de confianza.

Historias de Éxito

Desarollo de una herramienta de auto-evaluación para la verificación de datos y sistems de IA en Salud.

Durante los últimos meses hemos tenido el privilegio de trabajar con el equipo de PickleTech para desarrollar una herramienta de verificación de datos y sistemas de IA en el ámbito de la salud, teniendo en cuenta requisitos legislativos y los estándares y recomendaciones éticas más actuales. Sus conocimientos y experiencia en evaluación algorítmica, así como su saber hacer y comprensión de diversos aspectos sociotécnicos alrededor del diseño y el impacto de las tecnologías de IA nos ha servido para avanzar muchísimo en lo que será el nuevo Modelo PIO Salud

Albert Sabater Coll, Director del Observatorio de Ética en Inteligencia Artificial de Catalunya (OEIAC)

Colaboradores


ES