Patronun 73 Yorumunu Veri Setine Dönüştürmek: Bir İncelemecinin Dijital İkizini Oluşturmak
OpenAI
Büyük bir kuruluştaki bir geliştirici, bir LLM (büyük dil modeli) hattı kullanarak IT fizibilite raporlarını otomatikleştirdi ve yöneticisinden 73 yorum içeren bir incelemeyle karşılaştı. Bunları manuel olarak düzeltmek yerine, yorumları DOCX dosyalarından çıkardı, bunları bir LLM ile 16 desen ve 6 gruba ayırdı ve bir kurallar kontrol listesi oluşturdu. Kontrol listesini ayrı bir doğrulama adımı olarak hatta entegre etmek ve her ifadenin kaynağını (brief, tahmin veya varsayımdan) işaretlemek, tekrarlanan düzeltmeleri büyük ölçüde azalttı. Sonraki belge grubu, tekrarlanan yorumlar olmadan geçti.
Büyük bir kuruluştaki bir çalışan, yapay zeka projeleri için teknik fizibilite raporları yazıyor; bu görevi, proje belgelerini toplayan, metinleri çıkaran, yapılandırılmış bir JSON dolduran ve bir şablondan DOCX oluşturan bir LLM ajanıyla otomatikleştirmişti. Dokuz rapor teslim ettikten sonra yöneticisi, birçoğu tekrarlayan ve eksik kaynaklar, desteklenmeyen iddialar ve çelişkilerle ilgili olan 73 yorumla raporları geri gönderdi. DOCX dosyalarından yorumları çıkarmak için Python kullandı ve ardından bir LLM'ye 73 yorumu, görev tanımına uyum, kanıt desteği, yetkinlik sınırları, mimari seçimler, soruların derinliği ve aşama kapıları dahil olmak üzere 6 grupta 16 kalıba kümeleme yaptırdı. Neredeyse tüm yorumların epistemolojik olduğunu tespit etti; yani LLM tekdüze bir güvenle metin ürettiği için iddiaların durumunun netleştirilmesini talep ediyorlardı. Üç boru hattı değişikliği yaptı: her iddiayı [B] (brief'ten), [E] (uzman tahmini) veya [D] (varsayım) olarak işaretlemek; ayrı bir boru hattı adımı olarak kontrol listesi eklemek; ve kontrol listesini ajanın kalıcı belleğinde saklamak. Sonraki dört belge tekrarlayan yorumlar olmadan geçti ve yalnızca yeni, önemli sorunlar kaldı. Yazar, örneklem boyutunun küçük olduğunu ve etkinin kısmen kaynak işaretlemenin kendisinden kaynaklandığını, bunları incelemeyi atlamak için değil, inceleyenin örtük kalite standartlarını resmileştirmek için kullandığını kabul ediyor.
Kaynak: Habr — хаб ИИ —
orijinal