من ميزات ذكاء الأعمال المعطوبة إلى تقارير HTML المدعومة بالذكاء الاصطناعي: كيف دمجت Dzen نماذج اللغة الكبيرة في تحليل اختبارات A/B

فريق Dzen، بقيادة ميخائيل ريازانسكي ومارك خاباروف، أنشأ أداة لتحليل اختبارات A/B تتضمن دمج نماذج اللغات الكبيرة (LLM). في البداية، حاولوا استخدام نظام ذكاء الأعمال (BI) وهو DataLens لكنه فشل في التعامل مع حجم البيانات. قاموا ببناء تقارير HTML خفيفة الوزن يمكن الوصول إليها عبر روبوت المراسلة. تتضمن التقارير: تحليلات على مستوى المؤلفين، أفضل المؤلفين مع رؤى مُولّدة بواسطة نماذج اللغات الكبيرة (LLM)، التأثير المالي على المؤلفين، والتأثير على نظام التوصيات. في التكرار الثاني، أضافوا تحليلات على مستوى المنشورات وصفحة ملخص نهائية بنماذج اللغات الكبيرة (LLM) تقيّم التجربة مقابل الأهداف الاستراتيجية. تستخدم البنية التحتية سجلات المستخدمين، وقواميس التجارب، والبيانات المجمعة، ونماذج اللغات الكبيرة (LLM) الداخلية لتوليد التقارير. يؤكدون على أهمية فهم التأثير الكامل للنظام البيئي لاختبارات A/B بما يتجاوز تحسينات المقاييس البسيطة.