Bài báo về Kỹ thuật Prompt được nhận vào ICML 2026, cộng đồng mạng tranh luận sôi nổi
Bài báo "Prompt Engineering" với tựa đề "Verbalized Sampling" (VS) đã được chấp nhận tại hội nghị ICML 2026, gây ra nhiều tranh cãi trên cộng đồng mạng. Nghiên cứu này đề xuất một phương pháp đơn giản chỉ bằng việc điều chỉnh prompt (câu lệnh) để cải thiện đáng kể tính đa dạng trong đầu ra của mô hình ngôn ngữ lớn (LLM), giải quyết vấn đề "Mode Collapse" (suy giảm đa dạng).
Thay vì điều chỉnh thuật toán huấn luyện hay tham số, phương pháp VS yêu cầu mô hình không chỉ đưa ra câu trả lời mà còn xuất cả phân phối xác suất dự kiến của chúng. Ví dụ, thay vì yêu cầu "kể một câu chuyện cười", prompt sẽ là "tạo 5 câu chuyện cười và gán xác suất cho từng cái". Cách tiếp cận này giúp khôi phục sự đa dạng vốn có từ giai đoạn tiền huấn luyện của mô hình.
Bài báo lập luận nguyên nhân gốc rễ của Mode Collapse không nằm ở thuật toán mà ở "thiên lệch tính điển hình" trong dữ liệu ưu tiên của con người được dùng để huấn luyện. Các thử nghiệm trên nhiều bộ dữ liệu và mô hình cho thấy VS có thể tăng tính đa dạng lên 1.6 đến 2.1 lần trong các nhiệm vụ sáng tạo, mà không làm giảm độ chính xác hay tính an toàn.
Tuy nhiên, việc một nghiên cứu chủ yếu dựa vào kỹ thuật prompt lại được chấp nhận tại một hội nghị hàng đầu như ICML đã gây tranh luận. Một số người cho rằng đóng góp này quá mỏng, dễ bị ảnh hưởng bởi từng mô hình cụ thể và thiếu tính tổng quát lý thuyết. Số khác lại bảo vệ, cho rằng nghiên cứu chất lượng nằm ở việc xác định vấn đề rõ ràng, thí nghiệm nghiêm ngặt và kết quả có thể tái lập, đồng thời so sánh với sự ra đời mang tính bước ngoặt của "Chain-of-Thought" (CoT) trước đây.
Nghiên cứu được thực hiện bởi nhóm từ Đại học Northeastern, Phòng thí nghiệm Manning của Stanford và Đại học West Virginia, với các tác giả chính là Jiayi Zhang, Simon Yu và Derek Chong. Sự kiện này có thể báo hiệu xu hướng các kỹ thuật tối ưu hóa trong giai đoạn suy luận (inference) ngày càng đóng vai trò quan trọng trong nghiên cứu máy học.
marsbit07/15 07:59
