Apple đang âm thầm tiến nhanh hơn trong lĩnh vực trí tuệ nhân tạo tạo sinh khi vừa đạt được bước đột phá mới của mình, mô hình ngôn ngữ lớn đa phương tiện MM1. Bước tiến này được mô tả trong tài liệu nghiên cứu mới có tên "MM1: Phương pháp, Phân tích & Hiểu biết từ Việc Huấn luyện trước các mô hình ngôn ngữ lớn Đa phương tiện", cho thấy các khả năng ấn tượng đối với việc nhận diện hình ảnh và suy luận dựa trên ngôn ngữ tự nhiên.
Mô hình MM1 sẽ có 3 kích thước bao gồm 3 tỷ, 7 tỷ và 30 tỷ tham số. Các nhà nghiên cứu đã sử dụng những mô hình này để thực hiện thí nghiệm, xác định các yếu tố then chốt ảnh hưởng đến hiệu suất. Điều thú vị là khác với các bộ dữ liệu được huấn luyện trước khác, đối với MM1, độ phân giải và số lượng thẻ gắn vào hình ảnh có ảnh hưởng lớn đến hiệu quả hoạt động của mô hình, lớn hơn nhiều so với các kết nối ngôn ngữ và hình ảnh.
Nhóm nghiên cứu đã xây dựng MM1 một cách tỉ mỉ khi sử dụng kiến trúc "Mixture of Experts" và phương pháp "Top-2 Gating". Cách tiếp cận này không chỉ mang lại kết quả xuất sắc trong các phép đo benchmark huấn luyện trước mà còn chuyển hóa thành hiệu suất mạnh mẽ đối với các phép đo benchmark đa phương tiện hiện có. Ngay cả sau khi được tinh chỉnh cho các nhiệm vụ cụ thể, các mô hình MM1 vẫn duy trì hiệu suất rất đáng kể.
"Chúng tôi chứng minh rằng đối với việc đào tạo trước đối với các mô hình đa phương thức quy mô lớn, việc sử dụng kết hợp tỉ mỉ các dữ liệu chú thích hình ảnh, văn bản hình ảnh xen kẽ và chỉ thuần văn bản là rất quan trọng để đạt được kết quả chụp vài ảnh hiện đại trên nhiều điểm chuẩn," Các nhà nghiên cứu giải thích. Bằng cách đào tạo các mô hình trên một tập dữ liệu đa dạng bao gồm thông tin ngôn ngữ và hình ảnh, các mô hình MM1 có thể thực hiện xuất sắc các nhiệm vụ như chú thích hình ảnh, trả lời câu hỏi bằng hình ảnh và suy luận ngôn ngữ tự nhiên.
Nhờ vào bộ dữ liệu đa phương tiện quy mô lớn được huấn luyện trước, mô hình MM1 của Apple có thể hiểu được nội dung của bức ảnh, ví dụ đếm được số lượng đối tượng trong hình ảnh, thực hiện được phép tính.
Mô hình MM1 có thể đọc được phần văn bản, con số trong hình ảnh
Các thử nghiệm đã tiết lộ rằng các mô hình MM1-3B-Chat và MM1-7B-Chat vượt trội so với hầu hết các đối thủ cùng kích cỡ trên thị trường. Các mô hình này đặc biệt nổi bật trong các nhiệm vụ như VQAv2 (trả lời câu hỏi dựa trên hình ảnh và văn bản), TextVQA (trả lời câu hỏi dựa trên văn bản về một hình ảnh), và ScienceQA (trả lời câu hỏi khoa học).
Điều đáng ngạc nhiên là dù phiên bản lớn nhất của mô hình MM1 chỉ có 30 tỷ tham số nhưng lại thể hiện tốt khả năng học tập theo ngữ cảnh, cho phép nó thực hiện lý luận nhiều bước đối với hàng loạt hình ảnh đầu vào bằng cách sử dụng lời nhắc "chuỗi suy nghĩ". Điều này chỉ ra tiềm năng cho thấy các mô hình đa phương thức lớn hơn có thể giải quyết các vấn đề phức tạp, có kết thúc mở, thường phải có sự hiểu biết và tạo ra ngôn ngữ có căn cứ.
Thậm chí mô hình còn cho thấy khả năng hiểu được bối cảnh trong hình ảnh, trả lời được các câu hỏi về cảm giác của người xem đối với những hình ảnh đó.
Tuy nhiên, hiệu suất tổng thể của MM1 chưa thực sự vượt qua được mô hình Gemini của Google hoặc GPT-4V của OpenAI. Mặc dù MM1 chưa phải là người dẫn đầu tuyệt đối, nó vẫn là một bước tiến lớn của Apple trong lĩnh vực trí tuệ nhân tạo tạo sinh. Đầu năm nay, công ty cũng đã mua lại DarwinAI, một startup ứng dụng AI trong hoạt động kiểm tra chất lượng của quy trình sản xuất, giúp nâng cao chất lượng sản phẩm.
Ngoài ra, trước đó nhiều nguồn tin cho biết Apple đang nghiên cứu một framework mô hình ngôn ngữ lớn có tên là "Ajax" cũng như một chatbot có tên nội bộ là "Apple GPT". Mục tiêu là tích hợp các công nghệ này vào Siri, Messages, Apple Music cũng như các ứng dụng và dịch vụ khác.
Apple có lịch sử là người theo sau hiệu quả thay vì người tiên phong trong các bước ngoặt công nghệ lớn. Nhưng với AI có thể sẽ biến đổi mọi khía cạnh của thế giới số, sức ép duy trì vị thế cạnh tranh cho Apple là rất lớn. Việc công bố MM1 cho thấy Apple có tài năng và nguồn lực để tạo ra những tiến bộ mới, nhưng vẫn cần thời gian để biết được liệu nhà sản xuất iPhone có bắt kịp các đối thủ đi trước hay không.
