Yelp ra mắt Training Orchestrator cho quản lý thống nhất việc huấn luyện mô hình học máy

Yelp đã công bố Training Orchestrator, một khung nội bộ mới thay thế các tập lệnh huấn luyện Spark được viết riêng lẻ bởi các nhóm khác nhau. Trước đây, mỗi nhóm máy học ứng dụng tự tạo ra quy trình điều phối riêng, dẫn đến việc trùng lặp mã, cấu hình không nhất quán và giám sát tùy chỉnh dễ vỡ. Training Orchestrator tách biệt 'cái gì cần chạy' khỏi 'cách chạy' bằng cách sử dụng các đối tượng cấu hình dựa trên Pydantic, được xác thực tại thời điểm tạo để tránh lãng phí tài nguyên tính toán. Nó xây dựng một đồ thị có hướng không chu trình (DAG) từ các bước phụ thuộc đã khai báo và thực thi các bước theo thứ tự tô pô. Ngữ cảnh Spark/MLflow được chia sẻ cho phép các bước chạy không thay đổi trong môi trường local, Jupyter hoặc production. Xác thực lược đồ phát hiện lỗi không khớp trong vài giây, và các cấu hình chạy hoàn chỉnh được ghi lại dưới dạng artifacts MLflow để tái tạo. Khung này tích hợp với nền tảng ML của Yelp, bao gồm kho đặc trưng, mạng nơ-ron chia sẻ, thư viện gradient boosting và MLflow. Yelp có kế hoạch bổ sung các bước rõ ràng cho đánh giá mô hình, so sánh và giải thích, cũng như theo dõi dòng dõi. Cách tiếp cận dựa trên DAG tách rời logic huấn luyện khỏi runtime cụm, hỗ trợ chạy local và kiểm thử đơn vị. Yelp thừa nhận cần đầu tư ban đầu vào lược đồ và di chuyển, nhưng tin rằng nó tránh được chi phí lặp lại giữa các nhóm.