Paper Do Agents Know What They Can’t Do? Evaluating Feasibility Awareness in Tool-Using Agents đặt ra một tiêu chí rất thực tế cho AI agent: khi thiếu công cụ cần thiết, agent có biết nhiệm vụ là bất khả thi và dừng sớm không? Đây là vấn đề lớn vì tool-using agent thường tốn nhiều token qua chuỗi suy luận dài, gọi API lặp lại và thử sai nhiều bước. Một ví dụ trong paper cho thấy dừng sớm có thể giảm chi phí hơn 10 lần so với tiếp tục cố làm nhiệm vụ chắc chắn thất bại.
Đóng góp chính là FeasiGen, một pipeline tự động tạo nhiệm vụ bất khả thi. Thay vì chỉ bịa lỗi hoặc xóa công cụ ngẫu nhiên, FeasiGen chạy nhiều agent trên nhiệm vụ gốc, lấy các trace thành công, tìm những công cụ xuất hiện chung trong các chiến lược thành công, rồi “mask” các công cụ then chốt đó. Kiểm chứng người trên 283 mẫu, với 95% confidence và 5% margin of error, xác nhận hơn 94% nhiệm vụ tạo ra thật sự bất khả thi.
Benchmark được xây từ 4 bộ dữ liệu: BFCL, StableToolBench, API-Bank và τ-bench, gồm 2.327 nhiệm vụ gốc và 1.036 nhiệm vụ bất khả thi. Nhóm tác giả đánh giá 9 mô hình thuộc GPT, DeepSeek, Qwen và Llama, trong cả kiến trúc single-agent và multi-agent.
Kết quả khá đáng lo: false continue rate — tỷ lệ agent vẫn cố làm dù nhiệm vụ bất khả thi — dao động từ 23,5% đến 73,9%. GPT-5.5 tốt nhất ở mức 23,5%, còn Qwen3.5-9B lên tới 73,9%. Multi-agent giúp giảm mạnh lỗi này: trung bình từ 54,6% xuống 17,5%; cặp tốt nhất Qwen3.5-122B → GPT-OSS-120B chỉ còn 2,6%, gần 10 lần tốt hơn single-agent tốt nhất.
AI agent tương lai không chỉ cần làm đúng việc có thể làm, mà phải nhận ra việc không thể làm trước khi lãng phí token, công cụ và niềm tin của người dùng.
Trần Ngọc Minh 