Sự xuất hiện của ChatGPT khiến các mô hình ngôn ngữ lớn (LLM) trở nên phổ biến hơn bao giờ hết. Ishan Anand, một nhà phát triển phần mềm, đã "nhồi nhét" thành công GPT-2 - tiền thân của ChatGPT được OpenAI ra mắt năm 2019 - vào một bảng tính Microsoft Excel. Công cụ này miễn phí và nhằm mục đích giáo dục về cách thức hoạt động của LLM.
"Bằng cách sử dụng bảng tính, bất kỳ ai (ngay cả người không phải lập trình viên) đều có thể khám phá và trực tiếp tương tác với cách thức hoạt động của 'bộ chuyển đổi' thực tế bên trong, ít trừu tượng hóa nhất có thể", Anand viết trên trang web chính thức của bảng tính, có tên là "Spreadsheets-are-all-you-need" (tạm dịch: Chỉ cần bảng tính là đủ). Đây là cách nhắc đến bài nghiên cứu năm 2017 "Attention is All You Need" (tạm dịch: Chỉ cần chú ý là đủ), mô tả lần đầu tiên về kiến trúc Transformer, nền tảng cho hoạt động của LLM.
Anand đã "đóng gói" GPT-2 vào định dạng tệp nhị phân XLSB của Microsoft Excel. Nó yêu cầu phiên bản Excel mới nhất để chạy (không hỗ trợ Excel phiên bản web). Công cụ này hoàn toàn "offline" và không thực hiện bất kỳ kết nối nào đến dịch vụ AI đám mây.
Mặc dù bảng tính chứa một mô hình ngôn ngữ AI hoàn chỉnh, bạn không thể trò chuyện với nó như ChatGPT. Thay vào đó, người dùng nhập các từ vào các ô khác và xem kết quả dự đoán được hiển thị trong các ô khác gần như ngay lập tức.
Hãy nhớ rằng các mô hình ngôn ngữ như GPT-2 được thiết kế để dự đoán ký tự tiếp theo, nghĩa là chúng cố gắng hoàn thành đầu vào (gọi là lời nhắc, được mã hóa thành các khối gọi là token) với văn bản có khả năng xuất hiện cao nhất. Dự đoán có thể là sự tiếp tục của một câu hoặc bất kỳ tác vụ dựa trên văn bản nào khác, chẳng hạn như mã nguồn phần mềm. Các sheet khác nhau trong tệp Excel của Anand cho phép người dùng nắm bắt hoạt động bên trong khi những dự đoán này diễn ra.
"Spreadsheets-are-all-you-need" chỉ hỗ trợ 10 token đầu vào. Con số này rất nhỏ so với cửa sổ ngữ cảnh 128.000 token của GPT-4 Turbo, nhưng đủ để trình diễn một số nguyên tắc cơ bản về cách hoạt động của LLM.
Bảng tính của Anand sử dụng phiên bản "GPT-2 Small" với 124 triệu tham số, khác với phiên bản đầy đủ 1.5 tỷ tham số của GPT-2. (Tham số là các giá trị số trong mô hình AI lưu trữ các mẫu học được từ dữ liệu huấn luyện). So với 175 tỷ tham số trong GPT-3 (và các mô hình thậm chí còn lớn hơn), phiên bản này có thể không được xếp loại là mô hình ngôn ngữ "lớn" nếu phát hành ngày nay. Nhưng vào năm 2019, GPT-2 được coi là rất tiên tiến.
Bạn có thể tải xuống bảng tính tích hợp GPT-2 trên GitHub, nhưng lưu ý rằng nó nặng khoảng 1,2GB. Do tính phức tạp, Anand cho biết nó có thể khiến Excel bị treo thường xuyên, đặc biệt trên máy Mac; ông khuyên nên chạy bảng tính trên Windows. "Chúng tôi đề xuất sử dụng chế độ tính toán thủ công trong Excel và phiên bản Excel trên Windows." ông viết trên trang web của mình.
Tải về "Spreadsheets-are-all-you-need" tại đây.
