El Prompt Resultó Ser Más Importante Que el Modelo: Experimento con la Generación de Cartas de Presentación

Un desarrollador creó una aplicación que genera cartas de presentación para vacantes laborales utilizando un modelo local (a través de Ollama) o una API en la nube, y decidió probar cuánto depende la calidad del texto del modelo. Realizó una evaluación a ciegas con un amigo que buscaba trabajo en TI. La primera ejecución con tres modelos (qwen2.5:3b, qwen2.5:7b, llama-3.3-70b) resultó en una capacidad de envío de solo el 20-30%, y el modelo en la nube no superó al local. El análisis reveló defectos comunes: marcadores de posición sin completar, experiencia inventada y caracteres chinos. Resultó que el problema estaba en el propio prompt, que estaba escrito en inglés y carecía de restricciones. Después de reescribir el prompt en ruso, los errores mecánicos cayeron del 25% a una limpieza del 100%, pero la evaluación humana seguía siendo nula debido al aburrimiento. El amigo señaló que las cartas de presentación se escanean en diagonal, por lo que la densidad de ganchos al inicio de las frases es importante. Tras diez iteraciones, el prompt explicaba al modelo cómo se leen las cartas, exigía una primera línea basada en hechos, un saludo breve y un párrafo separado que abordara el ajuste al puesto. Con este prompt, los modelos locales (gemma-3-4b, qwen-3.5-4b) lograron una capacidad de envío del 100% en siete de ocho cartas, mientras que Claude Opus 4.8 y GigaChat-2-Pro lograron el 100% con un estilo más vivaz. En una prueba de Turing, el amigo identificó 6 de 8 cartas generadas como escritas por humanos. Conclusión: el prompt establece el mínimo, el modelo eleva el techo; en hardware débil, un modelo local de 4B ya produce cartas decentes.