Trần Ngọc Minh

Trong thời đại của ChatGPT và Transformer, thật thú vị khi nhìn lại những “cỗ máy” rất mộc mạc từng làm nhiệm vụ giống hệt: đoán từ tiếp theo. Bài viết của Elijah Potter gợi nhắc rằng trước khi có kiến trúc sâu và hàng tỉ tham số, người ta đã dùng chuỗi Markov để mô phỏng ngôn ngữ: chỉ cần thống kê xem sau một từ (hoặc một cặp từ) thì những từ nào thường xuất hiện, rồi lần theo những xác suất đó để gợi ý tiếp. Nói cách khác, autocomplete đã từng vận hành bằng… đếm…