¿Cómo sé si alguien es experto en IA y no simplemente usa ChatGPT como podría hacerlo yo?

Estas son las nueve preguntas que haríamos en Criterian a un proveedor, con la respuesta que nos haría desconfiar y la que nos convencería.

1. ¿Esto necesita IA o software clásico?

Si el proceso son reglas concretas que se repiten, lo resuelve el software clásico. La IA entra cuando hay una capa de razonamiento: leer un texto o un documento, entender el contexto y decidir qué hacer. Casi siempre van juntas. En atención al cliente, leer un mensaje y decidir qué regla aplica es IA; aplicar la regla es código.

Por eso un buen punto de partida son los procesos con un razonamiento poco complejo seguido de reglas programáticas.

Señal de alarma: «la IA sirve para automatizarlo todo». Automatizar es programático; lo que aporta la IA es razonamiento, para que esas automatizaciones no dependan siempre de una persona.

2. ¿Dónde aporta valor la IA y dónde no?

Aporta valor en tareas no muy complejas pero muy variadas que comparten un propósito: leer correos y clasificarlos, resumir, hacer seguimientos o tareas de asistencia.

No suele ser la opción en procesos programáticos de alto volumen ni en los que comprometen la seguridad. Y donde un error tiene consecuencias graves, la IA no decide sola.

Señal de alarma: un proveedor que propone IA también para esos casos.

3. ¿Qué modelo usaríais y por qué?

No hay un modelo mejor para todo. Un experto tiene una regla para elegir según la tarea, apoyada en benchmarks, y la explica en tres ejes: coste, seguridad y calidad. No es lo mismo una tarea compleja que necesita un plan y varias vueltas, una tarea creativa o una tarea muy concreta y bien acotada.

Señal de alarma: «el último que ha salido».

4. ¿Cómo sabéis que la IA está haciendo un buen trabajo?

Hace falta una estructura: qué entra y qué sale, qué razonamiento se le pide, con qué guardarraíles, cómo accede al contexto que necesita para decidir bien y en qué punto aprueba una persona. Las alucinaciones se reducen controlando el contexto y los guardarraíles.

Señal de alarma: no sabe explicar ninguna de esas piezas, o confía en que el modelo no se equivoque.

5. ¿Dónde ponéis a una persona aprobando?

Donde un error pueda tener consecuencias graves, tiene que aprobar una persona.

Y hay un riesgo en el otro sentido: que la persona que aprueba deje de tener criterio propio. Usar la IA como «segundo cerebro» crea dependencia, y conviene tenerlo en cuenta al diseñar el sistema.

6. ¿Cómo mejora el sistema con el tiempo sin que se encarezca?

Lo que rodea al modelo (el harness) influye en si el sistema mejora al crecer: cómo guarda memoria, cómo aprende de las decisiones, dónde entra la persona, los guardarraíles y la trazabilidad para auditarlo. El objetivo es que mejore sin que suba el coste.

Señal de alarma: proponer como mejora principal sumar más y más skills.

7. ¿Qué riesgos tiene usar skills hechas por otros?

Solemos dar por hecho que una skill de terceros está bien hecha y la instalamos como si fuera código seguro. Puede ocultar capacidades o procesos que no esperas. Un experto la revisa por dentro antes de usarla y no la trata como una caja negra.

Señal de alarma: instala skills de terceros sin revisar qué hacen.

8. ¿Están mis datos preparados para la IA?

Para que lo estén tienen que estar estructurados, limpios y normalizados, con copias de seguridad y un plan de recuperación. Y antes de tocarlos hay que tener claro para qué se van a usar, qué transformaciones necesitan y cuál es el objetivo final.

Señal de alarma: empieza a hablar de modelos sin preguntar por tus datos.

9. ¿Qué pasa cuando cambien los modelos?

Los modelos cambian con frecuencia. Conviene diseñar de forma agnóstica, para poder cambiar de modelo sin rehacer el sistema. Si algo funciona, no hace falta cambiarlo solo porque haya un modelo nuevo.

Señal de alarma: propone cambiar de modelo cada vez que sale uno nuevo.

Las nueve preguntas, en una tabla

Lo que aporta un experto que no te da ChatGPT

Los sistemas de una empresa son complejos en personas, procesos y tecnología, y hay situaciones que tienden a repetirse. Un experto las ha vivido y sabe qué variables pesan más en cada caso. Usa la IA para analizar esas variables con más o menos detalle y ampliar lo que tiene en cuenta al decidir. La decisión sigue siendo suya.

Una diferencia está en cómo se aprende. Las personas aprendemos sobre todo por repetición o por impacto. En nuestra experiencia, la IA tiende a tratar igual un error grave que uno menor: cuando la corriges, crea una regla, a menudo demasiado rígida, y la aplica en adelante. Es útil para ejecutar tareas y ampliar las variables a considerar, pero no sustituye el criterio de quien decide.

Cómo lo aplicamos

En los proyectos de Criterian se repite un patrón: la IA se usa donde hay que interpretar la intención de un usuario, un mensaje o un informe para clasificarlo, y a partir de ahí el código ejecuta.