Một hãng chip AI vừa làm cả ngành công nghệ sửng sốt, giúp ChatGPT chạy nhanh gấp 13 lần, đe dọa vị thế "Vua chip AI" của Nvidia

Thứ 4, 21/02/2024 14:04
Với tốc độ xử lý đáng kinh ngạc của Groq, các câu trả lời của chatbot AI gần như được sản sinh ra ngay lập tức.

Cho đến hiện tại, các GPU hiệu năng cao của Nvidia vẫn đang là một trong các bộ xử lý được săn lùng gắt gao nhất thế giới để đáp ứng nhu cầu huấn luyện và vận hành các mô hình AI đang bùng nổ trên toàn cầu. Tuy nhiên, một màn trình diễn mới đây của Groq, một công ty chip AI đã gây sốt trên Internet, khi hiệu năng và tốc độ của nó đang khiến các mô hình nổi tiếng hiện tại như ChatGPT, Gemini hay Grok (của ông Elon Musk) như những ông già chậm chạp.

Theo clip trình diễn được đăng tải trên nền tảng X, chỉ trong một vài giây, Groq đã tạo ra hàng trăm từ ngữ cho câu trả lời, kèm với các nguồn thông tin tham chiếu. Trong một clip demo khác, nhà sáng lập và là CEO công ty, Jonathon Ross đã cho người dẫn chương trình của CNN có thể đối thoại theo thời gian thực với một chatbot AI ở cách xa nửa vòng trái đất, ngay trên chương trình truyền hình trực tiếp.

Một hãng chip AI vừa làm cả ngành công nghệ sửng sốt, giúp ChatGPT chạy nhanh gấp 13 lần, đe dọa vị thế "Vua chip AI" của Nvidia- Ảnh 1.

Bài đăng giới thiệu về groq.com trên X đã thu hút gần 400.000 lượt xem

Chỉ trong chưa đến 3 giây, chatbot chạy trên chip AI của Groq đã có thể sản sinh ra một câu trả lời dài với các nguồn thông tin đối chiếu. Thậm chí theo người dùng Matt Shumer, 3/4 thời gian nói trên là tìm kiếm thông tin còn việc, chứ không phải để sản sinh ra câu trả lời.

Điều này đặc biệt quan trọng. Mặc dù ChatGPT, Gemini hay nhiều chatbot khác nổi tiếng về khả năng xử lý đa dạng và thông minh của mình, hầu hết các tác vụ của nó đều được chạy trên nền đám mây internet, vì vậy độ trễ và khả năng xử lý khiến chúng không thể xử lý các tác vụ trong thời gian thực. Thế nhưng với bộ xử lý của Groq, tốc độ của chúng trở nên hoàn toàn khác biệt và có thể đáp ứng được việc sử dụng trong thời gian thực.

Điểm mấu chốt là Groq tạo ra chip AI được gọi là các bộ xử lý ngôn ngữ, các LPU (Language Processing Unit), và tuyên bố chúng nhanh hơn hẳn các GPU (Graphics Processing Unit) của Nvidia. Hiện tại các GPU của Nvidia đang được xem là tiêu chuẩn hàng đầu thế giới để chạy các mô hình AI, nhưng kết quả ban đầu cho thấy các LPU của Groq có thể đánh bại chúng về tốc độ.

Một hãng chip AI vừa làm cả ngành công nghệ sửng sốt, giúp ChatGPT chạy nhanh gấp 13 lần, đe dọa vị thế "Vua chip AI" của Nvidia- Ảnh 2.

Mỗi bộ xử lý LPU của Groq có giá gần 20.000 USD

Đừng nhầm lẫn Groq với một chatbot như ChatGPT, Gemini hay các mô hình AI khác. Thay vào đó, nó hoạt động như một "inference engine" (engine suy luận) giúp các chatbot này chạy cực kỳ nhanh, chứ không thay thế hoàn toàn chúng. Trên trang web của Groq, bạn có thể thử nghiệm các chatbot khác nhau và xem chúng chạy nhanh như thế nào khi sử dụng LPU của Groq.

Theo một thử nghiệm độc lập Artificial Analysis mới được công bố gần đây, Groq tạo ra 247 token/giây so với chỉ 18 token/giây của Microsoft - vốn đang chạy trên các GPU của Nvidia. Điều này có nghĩa ChatGPT có thể chạy nhanh hơn 13 lần nếu sử dụng chip của Groq.

Bước nhảy vọt về tốc độ này sẽ khiến các chatbot AI như ChatGPT, Gemini trở nên hữu ích hơn. Hạn chế hiện tại của các chatbot AI là chúng không thể theo kịp tốc độ nói của con người trong thời gian thực, khiến cho các cuộc trò chuyện đôi khi có cảm giác giống như robot.

Điều này cũng là lý do tại sao nhiều hãng công nghệ còn tìm cách tích hợp các chip AI chuyên dụng vào bộ xử lý smartphone – như Galaxy S24 của Samsung và Pixel 8 của Google – để có thể thực hiện các tác vụ AI tạo sinh ngay trên thiết bị thay vì để các nền tảng đám mây xử lý chúng.

Một hãng chip AI vừa làm cả ngành công nghệ sửng sốt, giúp ChatGPT chạy nhanh gấp 13 lần, đe dọa vị thế "Vua chip AI" của Nvidia- Ảnh 3.

Đo lường khả năng sản sinh token AI trên mỗi giây giữa các nền tảng đám mây AI - Groq cho tốc độ nhanh hơn 13 lần so với Microsoft

Trong buổi giới thiệu Gemini, Google còn bị cáo buộc giả mạo bản demo của chatbot này để khiến nó trông như thể có thể đối thoại với người dùng đa phương thức theo thời gian thực, trong khi thực tế thì không phải vậy. Nhưng với tốc độ vượt trội của Groq, những video như vậy có thể trở thành hiện thực.

Trước khi thành lập Groq, Ross là đồng sáng lập bộ phận chip AI của Google, chịu trách nhiệm phát triển các chip tiên tiến để huấn luyện các mô hình AI. Với các chip LPU, Ross cho biết Groq đã vượt qua hai điểm nghẽn của các mô hình ngôn ngữ lớn (LLM) mà GPU và CPU thường gặp phải: mật độ tính toán và băng thông bộ nhớ.

Dù Groq đang nhận được rất nhiều sự chú ý nhờ tốc độ vượt trội của nó, khả năng mở rộng của chip AI này so với các GPU của Nvidia hoặc TPU của Google vẫn là một dấu hỏi. Các bộ xử lý do Nvidia và Google đã trở thành tiêu chuẩn của ngành AI nhờ tên tuổi và kinh nghiệm hoạt động lâu năm. Một công ty chip AI mới nổi dù thu hút được sự chú ý từ công chúng vẫn sẽ cần một thời gian dài nữa để có thể kiểm chứng được các cam kết của mình.

Tuy nhiên, điều đó có thể đến sớm hơn mong đợi khi cơn khát chip AI đang trở thành tiêu điểm trên toàn cầu. Không chỉ về nguồn cung mà cả về công nghệ chip. Một trong những nỗ lực mới đây nhất để bắt kịp nhu cầu về chip AI đến từ CEO OpenAI, Sam Altman, khi ông đang tìm cách huy động hơn 7.000 tỷ USD để gia tăng nhảy vọt sản lượng chip AI trên toàn cầu, thay vì lệ thuộc hoàn toàn vào Nvidia như hiện tại.

Nguyễn Hải

Cùng chuyên mục

Giữa tháng săn sale: Xiaomi, Baseus, Hoco "nổ deal" loạt phụ kiện, gia dụng chất, giảm đến 50%

Thứ 2, 15/04/2024 01:45
Từ loa di động kiêm tai nghe không dây đến chuột Bluetooth hay máy hút bụi xe hơi, đây là loạt deal "ngon" dịp giữa tháng trên Shopee và Lazada.

Dùng thử dock sạc 3 in 1 thương hiệu WIWU: Sạc được cả iPhone, Apple Watch, AirPods cùng lúc, hỗ trợ MagSafe 15W mà giá chỉ hơn 700.000 đồng

Thứ 2, 15/04/2024 00:38
WIWU Rubik's Cube 3 in 1 WI-W024 là một giải pháp sạc đa năng, tiện lợi cho người dùng "hệ Táo".

Podcast | Cay đắng nhận ra chăm mẹ 8 năm chẳng bằng 3 giỏ quà của anh trai, tôi để lại 1 thứ rồi dọn đi

Chủ nhật, 14/04/2024 23:13
Người con thứ trong câu chuyện này đã có một quyết định khiến người mẹ vô cùng sững sờ.

1 loại quả chua ngọt là “thuốc làm sạch ruột”, hạ đường huyết, bổ máu và xương hiệu quả: Chợ Việt bán rất nhiều

Chủ nhật, 14/04/2024 22:22
Loại quả này mang đến rất nhiều công dụng nâng cao sức khỏe nhưng ít người biết.

Loại quả nghe tên cay nồng nhưng đậm vị ngọt, lại không có chất béo, hạ đường huyết cực nhạy, giàu vitamin C, chống lão hóa hiệu quả

Chủ nhật, 14/04/2024 22:17
Đây là loại quả cực giàu vitamin, được hội những người giảm cân rất yêu thích.
     
Nổi bật trong ngày

Thực hư chiêu trò tuyển CTV online "việc nhẹ lương cao": Cảnh giác trước nguy cơ mất trắng hàng chục triệu đồng

Chủ nhật, 14/04/2024 10:47
Những chiêu trò tuyển CTV trực tuyến cam kết việc nhẹ lương cao đang khiến nhiều người mắc bẫy vì thiếu hiểu biết.

Tỉnh sát vách Hà Nội đặt mục tiêu lên thành phố trực thuộc Trung ương: Ưu tiên phát triển hạ tầng giao thông, KCN, đô thị...

Chủ nhật, 14/04/2024 08:05
Mới đây, Hội đồng Nhân dân tỉnh Hưng Yên khóa XVII, nhiệm kỳ 2021-2026 đã thông qua Nghị quyết về Quy hoạch tỉnh thời kỳ 2021-2030, tầm nhìn đến năm 2050, với các nội dung quan trọng.

11 Anime có tựa đề dài nhất và khó nhớ nhất!

Chủ nhật, 14/04/2024 11:52
Đọc tên những bộ anime này xong hiếm có người nhớ được ngay.

Chuyển nhầm tài khoản trên MoMo, ZaloPay có lấy lại tiền được không? Câu trả lời bất ngờ từ các ví điện tử

Chủ nhật, 14/04/2024 14:38
Giao dịch trên ví điện tử như MoMo, ZaloPay… ngày càng phổ biến tại Việt Nam và có khi giao dịch chuyển nhầm tài khoản.

Nắng nóng hừng hực, bạn có cần tháo ốp bảo vệ để "giải cứu laptop" khỏi cái nóng?

Chủ nhật, 14/04/2024 16:17
Liệu sử dụng ốp bảo vệ có ảnh hưởng đến khả năng tản nhiệt của laptop?
xe.nguoiduatin.vn