El artículo de la mañana en este blog abordó cómo medir el ROI de un proyecto de IA. Hay una condición previa que muchas empresas mexicanas saltan: si los datos no están listos, el ROI se vuelve imposible de defender, aunque el modelo “funcione” en la demo.
Este checklist está pensado para equipos de operaciones, TI y negocio que van a lanzar (o ya lanzaron) un piloto. No es un framework académico: es una lista corta de decisiones que se pueden revisar en una o dos sesiones de trabajo.
1. Define el objeto de datos, no solo el caso de uso
Un caso de uso sin objeto de datos claro produce prompts genéricos y métricas opacas. Antes de elegir modelo o proveedor, responde por escrito:
- ¿Qué entidad mide el valor? (ticket, pedido, lead, factura, inventario, reclamo).
- ¿Cuál es la unidad de tiempo? (día, semana, ciclo de cierre).
- ¿Quién es dueño del dato maestro de esa entidad?
Si no hay dueño nombrado, el piloto dependerá de exportaciones manuales y el “éxito” no sobrevivirá al primer cambio de proceso.
2. Revisa calidad mínima en cinco dimensiones
No necesitas un programa de gobernanza completo para arrancar. Sí necesitas umbrales mínimos sobre la muestra con la que entrenarás o evaluarás:
- Completitud: % de registros con los campos críticos llenos.
- Unicidad: duplicados del mismo cliente, SKU o ticket.
- Actualidad: edad mediana del dato que el modelo verá en producción.
- Consistencia: mismos catálogos entre CRM, ERP y hojas satélite.
- Acceso: permisos y PII alineados a política interna y a LFPDPPP.
Regla práctica: si más del 20% de la muestra falla en un campo crítico, primero limpia o redefine el caso de uso. Medir ROI sobre basura limpia es autoengaño.
3. Separa “dato de entrenamiento” de “dato de decisión”
En GenAI y analítica predictiva se mezclan dos cosas distintas:
- Datos históricos para calibrar o evaluar (logs, tickets cerrados, campañas pasadas).
- Datos vivos que disparan una acción (un lead nuevo, un inventario en tiempo real).
Documenta el lag aceptable entre ambos. Un clasificador entrenado con tickets de hace 18 meses y un catálogo de productos que cambió hace tres semanas va a “acertar” en lab y fallar en piso.
4. Inventario de fuentes: menos es más
El error típico del primer piloto es conectar “todo lo que hay”. Mejor: una fuente primaria + una de contexto. Ejemplo: CRM como fuente primaria de leads; ERP solo para validar historial de compra. Cada fuente extra multiplica fricción de sync, derechos de acceso y discusiones de “cuál es la verdad”.
Haz un diagrama de una página: origen → transformación → destino que consume la IA → persona que valida la salida. Si no cabe en una página, el piloto está sobrecargado.
5. Etiquetado y ground truth: alguien tiene que marcar
Sin etiquetas confiables no hay evaluación. Define:
- Quién etiqueta (operación, no solo el proveedor).
- Cuántos ejemplos por clase o por escenario (mínimo viable, no “el dataset perfecto”).
- Cómo se resuelven desacuerdos entre etiquetadores.
Para asistentes GenAI, el “ground truth” puede ser la respuesta esperada del experto o la acción correcta en el sistema (cerrar, escalar, reclasificar). Sin eso, solo tendrás opiniones sobre prompts.
6. Privacidad y retención antes del prompt
Incluye en el kickoff:
- Campos que nunca salen del perímetro (INE, datos de salud, secretos comerciales).
- Si el proveedor puede usar datos para entrenar modelos propios (la respuesta por defecto debe ser no).
- Retención del historial de prompts y salidas.
Esto no es burocracia: es lo que evita que un piloto exitoso se detenga en legal a la semana ocho, justo cuando empezabas a medir ROI.
7. Checklist de go / no-go (una página)
Marca verde solo si puedes afirmar:
- Objeto de datos y dueño definidos por escrito.
- Muestra de evaluación con umbrales de calidad acordados.
- Fuente primaria identificada y accesible por API o extracto automatizable.
- Ground truth o criterio de aceptación humano documentado.
- Reglas de PII y retención firmadas por TI/legal.
- Métrica de valor alineada al marco de ROI (ahorro de horas, conversión, costo por ticket, etc.).
Tres o más rojos: pausa el piloto y arregla datos. Un rojo en PII: no avances aunque el resto brille.
Cómo se conecta esto con el ROI
Medir retorno sin datos listos produce dos fallas simétricas: subestimas costos (limpieza, etiquetado, integraciones) e inflas beneficios (métricas sobre una muestra irreal). El checklist anterior es la condición de contorno del cálculo de ROI: sin ella, el número es narrativa.
Próximo paso recomendado
En la próxima junta de patrocinio, dedica 45 minutos solo a este checklist. No demos, no vendors. Al salir deberías tener un go/no-go y un dueño de remediación con fecha. Si el veredicto es go, entonces sí tiene sentido hablar de modelo, prompts y tablero de ROI.
Next Wave México acompaña a equipos B2B a aterrizar proyectos de IA con foco en valor medible y operación real. Si estás evaluando un piloto, empieza por los datos: el modelo llega después.
Add comment