Hóa ra không chỉ các nhà nghiên cứu Trung Quốc mới biết cách tạo nên các mô hình AI chất lượng cao với giá rẻ, một nhóm các nhà khoa học từ Đại học Stanford và Đại học Washington đã tạo nên một bước đột phá ấn tượng.
Họ đã phát triển một mô hình “lý luận” AI, được đặt tên là s1, với chi phí sử dụng điện toán đám mây chưa đến 50 USD – một con số khiêm tốn so với hàng triệu đô la thường cần để huấn luyện các mô hình hàng đầu hiện nay.
Theo bài báo khoa học được công bố vào thứ Sáu tuần trước, mô hình s1 cho thấy hiệu năng tương đương với các mô hình tiên tiến như o1 của OpenAI và R1 của DeepSeek trong các bài kiểm tra về khả năng tính toán và lập trình. Đáng chú ý, nhóm nghiên cứu đã mở mã nguồn của s1 trên GitHub, kèm theo dữ liệu và mã lập trình được sử dụng trong quá trình huấn luyện, nhằm khuyến khích sự đổi mới và hợp tác trong cộng đồng AI.
Thay vì huấn luyện một mô hình “lý luận” từ đầu – một quá trình tốn kém về tài nguyên và kinh phí – các nhà nghiên cứu đã lựa chọn một cách tiếp cận tinh tế hơn. Họ bắt đầu với một mô hình ngôn ngữ có sẵn từ phòng thí nghiệm AI của Trung Quốc thuộc sở hữu của Alibaba, sau đó “tinh chỉnh” mô hình đó thông qua kỹ thuật chưng cất (distillation).
Quá trình này cho phép trích xuất các khả năng “lý luận” từ một mô hình AI khác bằng cách huấn luyện mô hình ban đầu theo các câu trả lời và quy trình “suy nghĩ” của mô hình nguồn. Cụ thể, s1 được chưng cất từ một trong những mô hình lý luận của Google – Gemini 2.0 Flash Thinking Experimental – mà Google cung cấp miễn phí trên nền tảng Google AI Studio (mặc dù với một số giới hạn hàng ngày).
Nhóm nghiên cứu đã thu thập một tập dữ liệu gồm 1.000 câu hỏi được chọn lọc kỹ lưỡng, kết hợp với các câu trả lời và quy trình “suy nghĩ” đằng sau mỗi câu trả lời từ mô hình của Google. Nhờ đó, họ sử dụng phương pháp huấn luyện theo hướng giám sát (supervised fine-tuning – SFT) để dạy cho mô hình cách suy luận một cách có hệ thống. So với phương pháp học tăng cường quy mô lớn mà DeepSeek áp dụng để huấn luyện đối thủ cạnh tranh của OpenAI, phương pháp SFT giúp giảm đáng kể chi phí cũng như thời gian huấn luyện.
Quá trình huấn luyện mô hình s1 diễn ra nhanh chóng chỉ trong chưa đầy 30 phút, sử dụng 16 GPU NVIDIA H100 – mỗi chiếc GPU có giá thuê khoảng 25.000 USD nhưng thông qua dịch vụ điện toán đám mây, tổng chi phí thuê chỉ dưới 50 USD. Một thủ thuật thú vị khác mà các nhà nghiên cứu áp dụng là cho mô hình “chờ” (wait) trong quá trình suy luận, giúp s1 kiểm tra lại công việc của mình và kéo dài thời gian “suy nghĩ” để cho ra các câu trả lời chính xác hơn.
Mặc dù những kết quả đạt được của s1 đã mở ra nhiều cơ hội đổi mới trong không gian AI, nhưng đồng thời cũng đặt ra câu hỏi về quá trình “phân hóa” (commoditization) các mô hình AI. Khi mà một nhóm các nhà nghiên cứu với nguồn lực hạn chế có thể tái tạo lại những khả năng của một mô hình trị giá hàng triệu đô la chỉ với một khoản “túi tiền” khiêm tốn, thì ranh giới giữa đổi mới và việc “sao chép” dường như trở nên mỏng manh. Điều này không làm hài lòng các phòng thí nghiệm AI lớn; OpenAI chẳng hạn đã cáo buộc DeepSeek sử dụng dữ liệu từ API của mình không đúng cách nhằm mục đích chưng cất mô hình.
Trong khi đó, các ông lớn như Meta, Google và Microsoft dự kiến sẽ đầu tư hàng trăm tỷ đô la trong năm 2025 cho cơ sở hạ tầng AI, với một phần nguồn lực dành cho việc huấn luyện các mô hình thế hệ tiếp theo. Tuy nhiên, thành tựu của mô hình s1 cho thấy rằng, đối với một số ứng dụng nhất định, việc áp dụng các kỹ thuật như chưng cất và huấn luyện giám sát có thể mang lại những kết quả ấn tượng với chi phí tương đối thấp.
Dù phương pháp này cho phép “tái tạo” các khả năng của một mô hình hiện có một cách tiết kiệm, nó cũng chỉ chứng minh được khả năng nhân rộng các chức năng hiện tại chứ không tạo ra những bước đột phá vượt trội so với những gì đã có.
Nguyễn Hải
