Comment les LLM peuvent aider à déterminer la lignée des données
Сбер
L'article examine l'utilisation de grands modèles de langage (LLM) pour extraire automatiquement la lignée des données à partir de code SQL. Il présente une approche basée sur GigaChat de Sber, atteignant des scores F1 élevés. Une boucle de réflexion basée sur des agents optimise les invites, et une interface web construite avec Streamlit visualise les résultats.
L'article aborde le défi de maintenir une Data Lineage précise dans des environnements de données complexes. Les auteurs proposent d'utiliser des LLM pour analyser automatiquement des scripts SQL et extraire les tables cibles et sources. Ils ont sélectionné 127 scripts de test de complexité variable. En utilisant GigaChat, ils ont développé la classe SQLLineageExtractor avec LangChain. Les résultats initiaux ont montré des scores F1 de 0,7898 pour GigaChat basique et de 0,9218 pour GigaChat 2 Pro. Pour améliorer la qualité des prompts, ils ont créé un agent intelligent (GigaChatSQLLineageAgent) basé sur LangGraph qui affine itérativement les prompts en utilisant des retours de validation, atteignant un F1 de 0,9336. Une interface web Streamlit a été construite pour l'analyse SQL unique et par lots, offrant une visualisation des dépendances.
Source: Habr — хаб ИИ —
original