Các nhà khoa học Nga tạo ra công cụ xác thực dữ liệu trước khi huấn luyện mô hình AI

Các nhà khoa học từ Trung tâm Trí tuệ Nhân tạo Ứng dụng của Sberbank và Viện Nghiên cứu AIRI đã giới thiệu SplitLight, một công cụ mã nguồn mở để chẩn đoán dữ liệu trước khi huấn luyện và so sánh các mô hình gợi ý. Hệ thống gợi ý được sử dụng rộng rãi trong thương mại điện tử, dịch vụ video và nền tảng nội dung, và các công ty dựa vào các thử nghiệm để quyết định mô hình nào cần phát triển. Tuy nhiên, nếu dữ liệu huấn luyện được chuẩn bị kém hoặc các điều kiện thử nghiệm khác biệt so với thực tế, các nhóm có thể chọn giải pháp không phù hợp và lãng phí nguồn lực. SplitLight giảm thiểu rủi ro này bằng cách cho phép kiểm tra dữ liệu sớm và đánh giá tính khả dụng thực tế của kết quả thử nghiệm. Công cụ này được cung cấp miễn phí và có thể được sử dụng như một thư viện Python hoặc giao diện web tương tác. Mục tiêu chính của công cụ là làm cho các vấn đề vô hình trở nên hữu hình, chẳng hạn như lỗi ghi log, sai lệch dấu thời gian và sự kiện trùng lặp có thể làm sai lệch các chỉ số. Nó cũng giải quyết vấn đề không thể so sánh giữa các nghiên cứu, cho phép các nhóm cố định các số liệu chính để tái lập kết quả. Ngoài ra, nó kiểm tra tính thực tế bằng cách xác định rò rỉ dữ liệu từ tương lai, tính đến người dùng và mục mới, và đánh giá sự khác biệt giữa tập huấn luyện và tập xác thực. Nhóm dự án, do Alexey Vasiliev dẫn đầu, đã thử nghiệm SplitLight trên sáu tập dữ liệu mở phổ biến, chứng minh rằng ngay cả những thay đổi nhỏ trong việc phân chia cũng có thể ảnh hưởng đáng kể đến các chỉ số. Sergey Ryabov, Giám đốc Điều hành Cấp cao và Giám đốc Chuyển đổi AI tại Sberbank, lưu ý rằng SplitLight cung cấp sự bảo vệ đáng tin cậy cho các nhóm sản phẩm trong các lĩnh vực chợ trực tuyến, phát trực tuyến và truyền thông, đồng thời đơn giản hóa việc ghi chép và so sánh cho các nhóm nghiên cứu. Mã nguồn có sẵn trên nền tảng GitVerse của Nga và GitHub.