Patching Codex: Quản Lý Chứng Mất Trí Nhớ Mà Không Mất Ngữ Cảnh

Một nhà phát triển đã trao cho mô hình (trong codex) khả năng tự quyết định khi nào cần thực hiện việc "compact" (nén ngữ cảnh), đồng thời yêu cầu mô hình phải giải thích lý do và xây dựng kế hoạch cho các bước tiếp theo. Động lực đằng sau ý tưởng này là việc nén ngữ cảnh giữa lúc đang chỉnh sửa một phần dự án lớn, có tính liền mạch cao thường gây ra không ít nghi ngại. Phương pháp này bao gồm việc thêm thông tin về tình trạng ngữ cảnh hiện tại vào phản hồi của các lệnh gọi công cụ (tool call), cùng với các chỉ dẫn về cách ghi "checkpoint" (điểm lưu trạng thái) trong bộ quy tắc của agent. Trước khi bước vào một giai đoạn công việc lớn, agent sẽ kiểm tra dung lượng cửa sổ ngữ cảnh còn lại. Nếu khối lượng công việc dự kiến không đủ chỗ chứa, nó sẽ lưu lại một checkpoint ghi rõ những gì đang được thực hiện và những gì dự kiến làm sau khi nén, rồi mới tiến hành nén ngữ cảnh. Khi "tỉnh dậy", agent sẽ đọc lại checkpoint, kiểm tra trạng thái của repository, rồi tiếp tục công việc theo đúng lịch trình đã lập. Ý tưởng này nghe có vẻ thú vị, nhưng hiện vẫn chưa có kết luận cụ thể nào. Bạn có thể thử nghiệm thông qua đường link GitHub được cung cấp, dù sẽ cần phải patch (vá) lại codex — nhưng đây không phải là việc gì quá phức tạp.