Como LLMs podem ajudar a determinar a linhagem de dados
Сбер
O artigo discute o uso de grandes modelos de linguagem (LLMs) para extrair automaticamente a linhagem de dados a partir de código SQL. Apresenta uma abordagem baseada no GigaChat da Sber, alcançando altos escores F1. Um loop de reflexão baseado em agente otimiza prompts, e uma interface web construída com Streamlit visualiza os resultados.
O artigo aborda o desafio de manter uma Linhagem de Dados precisa em ambientes de dados complexos. Os autores propõem o uso de LLMs para analisar automaticamente scripts SQL e extrair tabelas de origem e destino. Eles selecionaram 127 scripts de teste de complexidade variada. Usando o GigaChat, desenvolveram a classe SQLLineageExtractor com LangChain. Os resultados iniciais mostraram pontuações F1 de 0,7898 para o GigaChat básico e 0,9218 para o GigaChat 2 Pro. Para melhorar a qualidade dos prompts, criaram um agente inteligente (GigaChatSQLLineageAgent) baseado em LangGraph que refina iterativamente os prompts usando feedback de validação, atingindo F1 de 0,9336. Uma interface web Streamlit foi construída para análise SQL individual e em lote, fornecendo visualização de dependências.
Fonte: Habr — хаб ИИ —
original