Prompt Provou Ser Mais Importante que o Modelo: Experimento com Geração de Carta de Apresentação

Um desenvolvedor criou um aplicativo que gera cartas de apresentação para vagas de emprego usando um modelo local (via Ollama) ou uma API em nuvem, e decidiu testar o quanto a qualidade do texto depende do modelo. Ele conduziu uma avaliação às cegas com um amigo que procurava emprego em TI. Na primeira execução com três modelos (qwen2.5:3b, qwen2.5:7b, llama-3.3-70b), a taxa de envio foi de apenas 20–30%, e o modelo em nuvem não superou o local. A análise revelou defeitos comuns: placeholders não preenchidos, experiências inventadas e caracteres chineses. Descobriu-se que o problema estava no próprio prompt—ele foi escrito em inglês e não tinha restrições. Após reescrever o prompt em russo, os erros mecânicos caíram de 25% para 100% de limpeza, mas a avaliação humana permaneceu em zero devido ao tédio. O amigo apontou que as cartas de apresentação são lidas diagonalmente, portanto a densidade de ganchos no início das frases é importante. Após dez iterações, o prompt explicava ao modelo como as cartas são lidas, exigia uma primeira linha baseada em fatos, um breve cumprimento e um parágrafo separado abordando a adequação ao cargo. Com esse prompt, modelos locais (gemma-3-4b, qwen-3.5-4b) alcançaram 100% de taxa de envio em sete de oito cartas, enquanto Claude Opus 4.8 e GigaChat-2-Pro alcançaram 100% com um estilo mais vivo. Em um teste de Turing, o amigo identificou 6 de 8 cartas geradas como escritas por humanos. Conclusão: o prompt define o piso, o modelo eleva o teto; em hardware fraco, um modelo local de 4B já produz cartas decentes.