# Anatomía del harness Mismo modelo, distinto sistema, distinto resultado. Avanzado · 1 de 6 · 15 min --- ## ¿Qué cambia alrededor del modelo? - Lo que recibe como contexto. - Las herramientas que puede solicitar. - Los permisos y controles. - Cómo conserva estado y cuándo termina. Nos enfocamos en los **harnesses**. --- ## Modelo, agente, harness **Modelo:** produce respuestas o solicitudes. **Agente:** modelo + herramientas + ciclo orientado a un objetivo. **Harness:** prepara, ejecuta, conserva estado y controla el ciclo. --- ## Flujo agéntico Leer → validar → calcular → explicar → revisar Algunos pasos los decide el modelo. Otros quedan fijados en código. --- ## Quién hace qué Traza didáctica: ```text Modelo → solicita leer ventas.csv Harness → ejecuta y devuelve datos Modelo → solicita calcular totales Harness → ejecuta y devuelve 1500, 2000 Modelo → redacta la comparación ``` --- ## Disponible no significa leído La carpeta contiene lo que puede consultar. El contexto contiene lo que recibe en esta llamada. El harness conecta ambos. --- ## Construir y ejecutar Un coding agent puede escribir el programa del reporte. El programa puede calcular sin un modelo. Elige dónde necesitas criterio y dónde un procedimiento fijo. --- ## «Ya guardé el reporte» El archivo no existe. ¿Qué revisarías en la traza? Solicitud → ejecución → resultado → ruta. --- # Contexto y herramientas ¿Qué necesita ver y poder hacer? Avanzado · 2 de 6 · 25 min --- ## ¿Qué le falta? | Necesita | Pieza | |---|---| | Convenciones | Instrucciones persistentes | | Procedimiento | Skill | | Cálculo repetible | Script / CLI | | Capacidades de un servicio | API / MCP | | Evidencia | Recuperación | --- ## Skill y tool **Skill:** enseña un procedimiento. **Tool:** permite ejecutar una operación. La skill puede incluir un script. El harness necesita una herramienta para ejecutarlo. --- ## CLI, API y MCP CLI: comandos. API: interfaz de programación. MCP: comunicación estándar entre cliente y servidor. Pueden exponer la misma capacidad. --- ## Un contrato útil ```text ventas_del_mes("2026-10") → total_mxn: "2000.00" fuente: ventas.csv regla: completadas; sin duplicados ``` Intención clara · resultado acotado · error accionable. --- ## ¿Qué llena el contexto? Instrucciones · herramientas · historial · evidencia Compactar el historial no elimina las definiciones de herramientas. --- ## Cuatro intervenciones - Compactar historial. - Guardar fuera y recuperar fragmentos. - Descubrir herramientas bajo demanda. - Delegar una investigación acotada. Cada una cambia una parte distinta. --- ## Recuperación Identificador exacto → búsqueda textual. Importes y fechas → consultas y cálculo. Conceptos con otras palabras → evaluar búsqueda semántica. RAG no exige una base vectorial. --- ## Decide dónde resolverlo «Cómo redactar el reporte cada mes» «Qué fórmula calcula las ventas» «Dónde está la política de cancelaciones» ¿Skill, código o recuperación? --- # Subagentes y tareas largas Delegar, conservar evidencia y continuar. Avanzado · 3 de 6 · 15 min --- ## Otra ejecución, otro contexto Un subagente recibe un encargo y devuelve un resultado. Comprueba qué contexto y herramientas hereda. Menos contexto en el principal no implica menos tokens totales. --- ## Un encargo completo Objetivo · entradas · permisos · formato de salida · terminado «Revisa duplicados, importes y estados. No edites. Devuelve id, evidencia y efecto.» --- ## ¿Delegar? Sí: exploración extensa, tareas independientes, revisión separada. Cuidado: mismos archivos, dependencias continuas, traspasos que pierden información. --- ## Review independiente Requisitos + diff + acceso a pruebas. Cada hallazgo necesita evidencia. Otro contexto reduce anclaje; otro modelo aporta diversidad. Ninguno garantiza ausencia de sesgos. --- ## Goal, plan y estado **Goal:** resultado esperado. **Plan:** pasos propuestos. **Estado:** lo comprobado, lo pendiente y la evidencia. Añade presupuesto y condición de bloqueo. --- ## Qué debe sobrevivir Exactos: objetivo, restricciones, identificadores. Resumidos: decisiones y progreso. Recuperables: fuentes y logs. Prueba: ¿una sesión nueva continúa correctamente? --- # Coding agents Del pedido al cambio comprobado. Avanzado · 4 de 6 · 25 min --- ## Una spec breve Problema · entradas · resultado · restricciones · aceptación Reporte: septiembre **1500**, octubre **2000 MXN**. Completadas, sin duplicados. Conflictos: detener. Datos sintéticos del caso normal. --- ## Localizar → editar → verificar Encuentra el comportamiento y reproduce el fallo. Haz un cambio pequeño; revisa el diff. Comprueba la reparación y las regresiones. --- ## TDD Prueba de comportamiento → falla → implementación → pasa. El fallo debe ocurrir por la razón esperada. Los resultados esperados vienen de la spec. --- ## Cero es un valor Ejemplo ilustrativo: ```python importe = valor or importe_por_defecto ``` ¿Qué sucede si `valor` es `0`? --- ## Pruebas en distintas capas Unidad → una regla. Integración → piezas conectadas. Extremo a extremo → resultado de la tarea. Interfaz → comportamiento y render, si existe. --- ## Dos comprobaciones **Fallaba → pasa:** se reparó el problema. **Pasaba → sigue pasando:** conservamos comportamiento. Código y pruebas pueden compartir una suposición equivocada. --- ## Reviewer adversarial Requisitos + diff + acceso a pruebas. Hallazgo = condición + efecto + evidencia. Una hipótesis se marca como hipótesis. No pidas una cuota de errores. --- ## ¿Aceptamos el hallazgo? El reviewer propone cambiar la fórmula. Primero: contrastar la regla y reproducir el fallo. Después: corregir y volver a probar. --- # De instrucciones a controles ¿Quién decide que la comprobación ocurra? Avanzado · 5 de 6 · 20 min --- ## La misma regla, cuatro mecanismos 1. «Comprueba antes de publicar». 2. Script disponible para comprobar. 3. Comprobación obligatoria en el flujo. 4. Publicación que valida internamente. ¿Dónde sigue dependiendo del modelo? --- ## Hook Integración en un evento del ciclo. Antes de una operación · después de editar · al terminar. Ejecutar, observar y bloquear son capacidades distintas. --- ## Juicio y ejecución Un hook puede ejecutar código o consultar un modelo. Ejecución obligatoria no significa juicio infalible. Revisa errores, timeout y rutas alternativas. --- ## Una compuerta Traza ilustrativa: ```text Fuente: 2000.00 MXN Reporte: 2400.00 MXN → Rechazar: incluye una cancelación. → Corregir y volver a comprobar. ``` El verificador necesita una referencia confiable. --- ## Válido no implica correcto ```json {"estado":"ok","total_mxn":"2400.00"} ``` Forma válida, cifra incorrecta para nuestro caso. Schema · reglas del dominio · resultado final. --- ## Reintentar sin duplicar Un timeout no demuestra que la acción no ocurrió. Identificador de operación + consulta de estado. Idempotencia: repetir la solicitud no duplica el efecto. --- ## ¿Existe otra ruta? Si puede publicar por un comando sin validar, la compuerta no cubre toda la operación. La garantía depende del entorno y de las propiedades verificadas. --- # Evaluar el sistema ¿Qué cambió y cómo lo sabes? Avanzado · 6 de 6 · 20 min --- ## Cuatro niveles Selección → herramienta correcta. Argumentos → valores correctos. Secuencia → dependencias respetadas. Resultado → objetivo cumplido. --- ## Seis casos pequeños Normal · conflicto · importe inválido Cero válido · mes ausente · pregunta sin evidencia Define qué debe pasar antes de cambiar el sistema. --- ## Quién califica Código → propiedades comprobables. Modelo con rúbrica → juicios que hay que calibrar. Persona → ambigüedades y criterios del dominio. El evaluador también puede fallar. --- ## Antes y después Mismos casos, modelo y entorno. Una intervención principal. Conserva resultados y trazas de ambas versiones. Repite cuando puedas: hay variabilidad. --- ## Leer un resultado Ejemplo ficticio: | Versión | Aprobados | Tiempo | |---|---|---| | Inicial | 3/6 | 2 min | | Con validación | 5/6 | 3 min | ¿Qué mejoró? ¿Qué empeoró? ¿Qué falta medir? --- ## Localiza el primer fallo Recuperación · contexto · argumentos · código · explicación · reintento ¿En qué punto se perdió la evidencia o se tomó la decisión incorrecta? --- ## Práctica · 2 horas Una tarea → una versión inicial → una mejora → una comparación. Entrega evidencia y una limitación conocida. La guía está en **Avanzado → Práctica**.