Trần Ngọc Minh

Litmus: Zero-Label, Code-Driven Metric Specification for Evaluating AI Systems đánh vào một điểm yếu lớn của AI production: nhiều hệ thống được chấm bằng metric có sẵn, nhưng mục tiêu đánh giá lại mơ hồ. Một pipeline AI không chỉ fail ở đáp án cuối; nó có thể fail ở retrieval, routing, fallback, confidence, formatting hoặc human review. Vì vậy, câu hỏi không phải chỉ là “metric nào?”, mà là thành phần nào cần đo, lỗi nào quan trọng, và vì sao metric đó hợp lệ. Litmus là hệ thống zero-label: thiết kế bộ metric mà không cần nhãn…