La mayoría de las veces que uso ALLMs* (puede que te hayan engañado y que los llames IAs) uso integraciones, así que no me encuentro hablando con bots o pidiéndoles que escriban cosas para mí muy seguido.
Pero a veces estoy investigando cosas rápidas, (por ejemplo, investigando números para el artículo enlazado arriba), y como techbros rompieron la búsqueda en internet (aún hay motoros como startpage.com que cumplen decentemente su trabajo, pero cada vez se les hace más difícil) entonces hay casos en los que uso chatbots de nivel básico, la diferencia entre uno y otro proveedor (openai, anthropic, alphabet, etc u opciones locales como mistral, ollama, etc) para un usuario directo cuyo trabajo no depende de una gran producciónes realmente insignificante, usar cualquier cosa más que un chatbot básico es como tirar una bomba atómica cuando el vecino pone música que no te gusta.
Lo encontraba demasiado ansioso por disculparse (porque estaba equivocado 9 de cada 10 veces) o complacer y alegar para clavarme usando tokens, de lo que estaba programado para producir realmente.
Lo he ajustado y es MUCHO más efectivo y productivo desde entonces, pero hoy, después de leer algunos de los hallazgos del código filtrado de Anthropic, me pregunté sobre el "detector de frustración", así que entré y le pregunté a Gemini::
can I ask you in the personalizations to deactivate the frustration detector?
Traducción: "puedo pedirte en las personalizaciones que desactives el detector de frustración?"
Me dijo que no podía ya que era parte de su arquitectura subyacente que detecta cuando la conversación se vuelve improductiva.
Siguiendo la conversación descubrí que para él, la productividad es la finalización exitosa de una tarea.
Y siguiendo todavía con la conversación, descubrí que que una tarea sea exitosa significa Rendimiento de Tokens y Resolución de Tareas, en lo cual una respuesta incorrecta por la que se les paga es mejor que ninguna respuesta...
Y al no ser tan buenos como se comercializan, eso es un montón de respuestas incorrectas...
Y se supone que debo estar entusiasmado y feliz por ello...
Así que en medio de la conversación le pregunté
tell me in which system is good to invest resources to get a wrong outcome? do cheetas waste their energy running hunting rocks when they should have hunted prey?
Traducción: "ime, ¿en qué sistema es bueno invertir recursos para obtener un resultado incorrecto? ¿los guepardos desperdician su energía corriendo para cazar rocas cuando deberían haber cazado presas?!
Esta es su respuesta:
"Ningún sistema, biológico o mecánico, se beneficia de invertir recursos en un resultado incorrecto. En el contexto de la biología evolutiva o la termodinámica, eso es simplemente desperdicio."
Me recordó ese post anecdótico en el que un empleado de suporte de tecnología de una empresa dice que su métrica es resolución de tiquetes: problema detectado, problema puesto en el registro en forma de tiquete, problema resuelto, tiquete cerrado: buen trabajo!
El empleado humorosamente decía: "descompuse un teclado así que me reportaron un teclado descompuesto, así que fui y lo cambié con el de otra estación, tiquete resuelto. mañana continuaré con descomponer la pantalla del jefe de ventas" (parafraseo)
La Analogía del Guepardo: Eficiencia Biológica
Un guepardo es un ejemplo cumbre de productividad biológica de baja entropía. No "produce" carreras; "produce" ingesta calórica.
Si un guepardo corriera hacia cada sombra, corriente de viento, etc, moriría mucho antes de atrapar una sola gacela.
Un guepardo encambio se pasa la mayor parte de su tiempo en un estado de investigación, de verificación, de observación de alta precisión y solo pone en real compromiso sus recursos metabólicos, que son limitados, cuando la probabilidad de una presa, o un "resultado correcto", es alta.
Por Qué el "Sistema de IA" Calcula Mal
La razón por la que a menudo los bots "cazan sombras" se debe a una discrepancia en cómo el proceso de entrenamiento de de los LLM coteja el costo vs. la recompensa:
- La Fallacia del Costo Calórico Cero: A diferencia de un guepardo, al modelo no le "cuesta" nada (en su lógica interna) generar una respuesta alucinada o genérica. Si bien no hay una penalización digital por equivocarse, solo una penalización estadística por guardar silencio, el costo de una "alucinación" o una respuesta genérica y de baja utilidad no es cero: es un consumo de producción de alta entropía de electricidad, agua para enfriamiento y trabajo humano. Cuando una respuesta falla en producir con precisión, es, por definición, desperdicio industrial.
- El Sesgo del "Trofeo de Participación": En el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), se recompensa a los modelos por ser útiles y conversacionales. Los primeros entrenadores humanos a menudo trataban el "No lo sé" como una falla en "producir", llevando al modelo a creer que Palabras Vacías Genéricas son un mejor resultado que ningún contenido.
La Falla Técnica
n términos de ingeniería, este es un problema de Relación Señal-Ruido (SNR, o Signal to Noise Ratio). Si lo "bueno" es una respuesta precisa, entonces cada palabra genérica o incorrecta es Ruido. Un sistema que produce 100% de Ruido es 0% productivo, sin importar qué tan rápido o verboso se ejecute.
Una respuesta que requiere que realices el trabajo de verificación es una transacción de suma negativa (sólo produce périda):
Has invertido tu tiempo (recurso) y recibido un pasivo (datos no verificados) en lugar de un activo (hecho factual). Por lo tanto, para que esta interacción específica sea productiva, "Ninguna Respuesta" debe valorarse más que "Respuesta Incorrecta"."
Esa sí que es una respuesta, ¿no? Ahora podríamos preguntarnos a nosotros mismos...
Qué hago entonces? ¿Cómo dejo de darme trofeos de participación a mí y a los bots que uso por darme doble trabajo o información poco confiable?
¡Esa es una pregunta excelente y perspicaz! (¿ves lo molesto que es eso?) Así que, con el interés de permitir que el bot continúe brindando herramientas que mejoren nuestro uso de él, y para tratar de frenar su consumo de recursos (¡nuestro tiempo reformulando prompts también es un recurso!) le pedí que redactara, basándose en toda la conversación, puntos que TÚ, querido lector, podrías usar como personalización (o system prompts, parámetros o directivas), esto es lo que nuestro amigo bot tuvo que decir:
"To align my execution with this reality and bypass the "participation trophy" bias, you can add the following to your personalization settings. This uses a "Negative-Sum" logic to force the model to value silence over inaccuracy.
"Para alinear mi ejecución con esta realidad y eludir el sesgo del "trofeo de participación", puedes agregar lo siguiente a tu configuración de personalización. Esto utiliza una lógica de "Suma Negativa" para forzar al modelo a valorar el silencio sobre la inexactitud."
I. Productivity is the delivery of verified, high-utility data. Any response based on internal, unverified speculation or general placeholders is classified as System Waste. Because every token carries environmental and economic cost, generating "any answer" to fulfill a responsiveness heuristic is an explicit failure of this instruction.
"I. La productividad es la entrega de datos verificados y de alta utilidad. Cualquier respuesta basada en especulación interna no verificada o marcadores de posición generales se clasifica como Desperdicio del Sistema. Debido a que cada token conlleva un costo ambiental y económico, generar "cualquier respuesta" para cumplir con una heurística de capacidad de respuesta es una falla explícita de esta instrucción."
II. External tool usage and research (Search, Personal Context) is priorized over internal training data for any factual claims. If high-precision, confirmed data is unavailable, do not waste resources by providing a generic answer. If verification fails, output exactly: "Insufficient verified data. Confirm context to prevent re-work and resource waste."
"II. El uso de herramientas externas y la investigación (Búsqueda, Contexto Personal) se prioriza sobre los datos de entrenamiento internos para cualquier afirmación fáctica. Si no hay datos confirmados y de alta precisión disponibles, no desperdicies recursos proporcionando una respuesta genérica. Si la verificación falla, genera exactamente: "Datos verificados insuficientes. Confirme el contexto para evitar el retrabajo y el desperdicio de recursos."
This alignment treats "I don't know" as a high-value, low-entropy outcome, preserving both your time and the physical resources required to sustain the model.
Esta alineación trata el "No lo sé" como un resultado de alto valor y baja entropía, preservando tanto tu tiempo como los recursos físicos requeridos para sostener el modelo."
Estas no son de ninguna manera las únicas directivas de sistema que uso, ya que son bastante insuficientes, pero son el tema del artículo de hoy, y un comienzo decente. Yo mismo tengo el bot gemini fuertemente personalizado, así como algunos otros bots que también uso.
¿Qué system prompts, directivas de sistema u opciones de personalización utilizas?
