En una era de agentes en la que se habla tanto de habilidades, herramientas y flujos de trabajo, y los principales laboratorios de IA están trabajando para lograr una interpretabilidad mecanicista, está claro que los constructores han notado algo crucial: para alcanzar un resultado exitoso determinado, el agente debe poder seguir una serie de instrucciones con un grado bastante alto de confianza en cada paso.
Dario Amodei ha utilizado el término interpretabilidad mecanicista cuando dice que están trabajando para poder afirmar con un mayor grado de confianza exactamente por qué el modelo responde de la forma en que lo hace. Están trabajando activamente en redes neuronales de ingeniería inversa (como mapear conceptos o “características” específicas dentro de sus modelos Claude) para comprender matemáticamente por qué un modelo genera una respuesta específica, en lugar de tratarlo como una caja negra.
Entonces, si entendemos cómo funcionan los modelos lingüísticos y los situamos conceptualmente como una especie de proceso de Markov, entonces estamos hablando de determinismo. En un proceso de Markov, el siguiente estado depende sólo del estado actual, no de la secuencia de eventos que lo precedieron. Para cualquier LLM determinado, si define toda la ventana de contexto como el estado actual, la predicción del siguiente token se basa únicamente en esa ventana.
Quizás no en el sentido de un determinismo estricto, pero sí un determinismo al fin y al cabo, en el que esperamos que estos flujos de trabajo agentes colapsen toda la serie de estados en un único resultado posible, el exitoso, dada la ventana de contexto y el modelo que utilizamos.
¿Y no es esto precisamente un determinismo duro? Que, dado el estado compuesto por el modelo y el contexto, la única probabilidad de un resultado era el resultado exitoso.
Me suena bastante determinista, pero la realidad es que, en un nivel fundamental, los LLM son estocásticos, no deterministas. Generan una distribución de probabilidad de posibles siguientes palabras. Incluso con una temperatura de 0, las matemáticas complejas de la GPU a veces pueden introducir pequeñas variaciones no deterministas.
Si bien los modelos base son probabilísticos, los flujos de trabajo agentes son un intento de imponer un determinismo algo estricto. El único propósito de crear agentes con herramientas, habilidades y ciclos de autocorrección es restringir violentamente esa distribución de probabilidad. Está obligando a una máquina probabilística a actuar como un programa de software determinista tradicional donde el Estado A siempre debe conducir al Resultado exitoso B.
Quizás se trate de una demanda latente, en la que los constructores descubrieron que los modelos encadenados con bucles agentes pueden reducir los grados de libertad de un solo modelo. O tal vez sea un error, ya que todavía no podemos cambiar nuestro paradigma de la computación determinista a la computación estocástica, o tal vez incluso a la computación cuántica.