AI Agent trong Kiểm thử: Vì Sao Kết Quả Mạnh Mẽ Đến từ Mạch Kỹ thuật, Không Phải Prompt
National Institute of Standards and Technology
International Organization for Standardization
IEEE
International Software Testing Qualifications Board
Một phương pháp luận cho các tác nhân AI trong kiểm thử được đề xuất, chuyển khỏi sự phụ thuộc vào prompt và mô hình. Mạch kỹ thuật bao gồm các quy tắc bắt buộc, bộ thực thi xác định và mô hình rõ ràng về kết quả mong đợi, đảm bảo kết quả có thể kiểm chứng, tái tạo và hữu ích.
Bài báo mô tả một cách tiếp cận xây dựng agent AI cho kiểm thử không dựa trên dữ liệu đầu vào lý tưởng hay các suy đoán do mô hình tạo ra. Thay vào đó, agent thu thập bằng chứng có sẵn, xây dựng mô hình chấp nhận rõ ràng, xác minh nó qua nhiều phương tiện độc lập (API, DB, UI), ghi lại các ranh giới tri thức, và để quyết định cuối lại cho con người. Vòng lặp kỹ thuật bao gồm các kỹ năng kịch bản (scenario skills), quy tắc an toàn, cấu hình dự án, bộ thực thi xác định (deterministic executors), và chuỗi bằng chứng. Các phương pháp kiểm thử chính bao gồm: kiểm thử dựa trên rủi ro (ưu tiên các module quan trọng), kiểm thử khám phá (làm việc với yêu cầu không đầy đủ), kiểm thử tiêu chí chấp nhận với oracle độc lập (các kỳ vọng quan sát được được định dạng sẵn), tư duy hệ thống/tích hợp (truy vết chuỗi trạng thái), và phân loại ranh giới (không phạt tác vụ vì công việc liên quan chưa hoàn thành). Bài báo nhấn mạnh rằng chất lượng phản hồi của agent không được quyết định bởi mô hình mà bởi vòng lặp xác minh.
Nguồn: Habr — хаб ИИ —
bản gốc