Google công bố thêm thông tin về siêu máy tính để đào tạo AI của mình

Google công bố thêm thông tin về siêu máy tính để đào tạo AI của mình

Thứ 4, 05/04/2023 10:19
Google đã công bố thông tin chi tiết mới về các siêu máy tính mà họ sử dụng để huấn luyện các mô hình trí tuệ nhân tạo AI của mình, cho biết các hệ thống này vừa nhanh hơn vừa tiết kiệm điện năng hơn so với các hệ thống tương đương của Nvidia Corp.

Google đã thiết kế chip tùy chỉnh của riêng mình được gọi là Bộ xử lý Tensor hay TPU. Nó sử dụng những con chip đó cho hơn 90% công việc của công ty về đào tạo trí tuệ nhân tạo AI, quy trình cung cấp dữ liệu thông qua các mô hình để làm cho chúng trở nên hữu ích trong các tác vụ như trả lời truy vấn bằng văn bản giống con người hoặc tạo hình ảnh.

Google TPU hiện đang ở thế hệ thứ tư.

google tpu
Google chia sẻ thông tin về siêu máy tính chuyên dùng để đào tạo AI của mình, khẳng định nhanh hơn, "xanh" hơn...

Hôm thứ ba vừa qua, Google đã xuất bản một bài báo khoa học mô tả chi tiết cách họ kết nối hơn 4.000 con chip lại với nhau thành một siêu máy tính bằng cách sử dụng các công tắc quang học do chính họ phát triển để giúp kết nối các máy riêng lẻ.

Cải thiện các kết nối này đã trở thành điểm cạnh tranh chính giữa các công ty chế tạo siêu máy tính AI vì cái gọi là mô hình ngôn ngữ lớn hỗ trợ các công nghệ như Bard của Google hay ChatGPT của OpenAI đã bùng nổ về kích thước, nghĩa là chúng quá lớn để lưu trữ trên một con chip.

Thay vào đó, các mô hình phải được chia thành hàng nghìn chip, sau đó các chip này phải hoạt động cùng nhau trong nhiều tuần hoặc hơn để huấn luyện mô hình. Mô hình PaLM của Google - mô hình ngôn ngữ được tiết lộ công khai lớn nhất cho đến nay - đã được đào tạo bằng cách chia nó thành hai trong số 4.000 siêu máy tính chip trong 50 ngày.

Google cho biết các siêu máy tính của họ giúp dễ dàng cấu hình lại các kết nối giữa các chip một cách nhanh chóng, giúp tránh các sự cố và điều chỉnh để tăng hiệu suất.

"Chuyển mạch giúp dễ dàng định tuyến xung quanh các thành phần bị lỗi", Google Fellow Norm Jouppi và Kỹ sư xuất sắc của Google David Patterson đã viết trong một bài đăng trên blog về hệ thống. "Tính linh hoạt này thậm chí còn cho phép chúng tôi thay đổi cấu trúc liên kết của kết nối siêu máy tính để tăng tốc hiệu suất của mô hình ML (máy học)."

Mặc dù Google hiện mới công bố thông tin chi tiết về siêu máy tính của mình, nhưng nó đã trực tuyến bên trong công ty từ năm 2020 tại một trung tâm dữ liệu ở Hạt Mayes, Oklahoma, Mỹ. Google cho biết công ty khởi nghiệp Midjourney đã sử dụng hệ thống này để đào tạo mô hình của mình, mô hình này tạo ra những hình ảnh mới sau khi được cung cấp một vài từ văn bản.

Trong bài báo, Google cho biết đối với các hệ thống có kích thước tương đương, chip của họ nhanh hơn tới 1,7 lần và tiết kiệm năng lượng hơn 1,9 lần so với hệ thống dựa trên chip A100 của Nvidia có mặt trên thị trường cùng lúc với TPU thế hệ thứ tư. .

Người phát ngôn của Nvidia từ chối bình luận về điều này với Reuters.

Google cho biết họ không so sánh thế hệ thứ tư của mình với chip H100 hàng đầu hiện tại của Nvidia vì H100 được tung ra thị trường sau chip của Google và được sản xuất bằng công nghệ mới hơn.

Google gợi ý rằng họ có thể đang làm việc trên một TPU mới sẽ cạnh tranh với Nvidia H100 nhưng không cung cấp thông tin chi tiết, Jouppi nói với Reuters rằng Google có "một hệ thống chip tương lai lành mạnh."

Anh Nguyễn (theo Reuters)

Nhiều lỗ hổng zero-day từ Microsoft, Google và Apple bị khai thác

Thứ 5, 23/03/2023 09:34
Một báo cáo gần đây của công ty bảo mật thông tin hàng đầu Mandiant cho thấy tin tặc đã khai thác 55 lỗ hổng zero-day vào năm 2022.

Google bắt đầu mở quyền truy cập vào Bard - đối thủ cạnh tranh của ChatGPT

Thứ 4, 22/03/2023 11:12
Google đã bắt đầu phát hành công khai chatbot Bard của mình, tìm kiếm người dùng và phản hồi để giành được vị thế trước ChatGPT của Microsoft trong cuộc đua nhanh về công nghệ trí tuệ nhân tạo AI.

Elon Musk tung ảnh chứng minh vẫn thân thiết với đồng sáng lập Google, ngoại tình với vợ bạn chỉ là tin đồn?

Thứ 3, 26/07/2022 15:00
Giám đốc điều hành Tesla Elon Musk chia sẻ ảnh cho thấy ông cùng tiệc tùng với đồng sáng lập Sergey Brin, trong nỗ lực chứng minh không ngoại tình với vợ bạn.
Cùng tác giả

Honda chi hơn 1 tỷ USD để nâng cấp các nhà máy ở Mỹ

Thứ 6, 18/03/2022 16:00
Chi nhánh sản xuất tại Canada của Honda Motor Co sẽ đầu tư 1,38 tỷ đô la Canada (1,09 tỷ USD) trong vòng 6 năm để nâng cấp các nhà máy của mình ở Ontario khi hãng chuẩn bị sản xuất chiếc SUV hybrid mới cho Bắc Mỹ.
Cùng chuyên mục

Tháng 3/2024, phát hiện 124.579 website giả mạo cơ quan, tổ chức

Chủ nhật, 21/04/2024 12:05
Thông tin được công bố bởi Trung tâm Giám sát an toàn không gian mạng quốc gia (CSSC- thuộc Cục An toàn thông tin, Bộ TT&TT). Ngoài số lượng website giả mạo “khủng”, Trung tâm cũng ghi nhận 88.990 lỗ hổng mạng.

Cách ẩn video đã đăng trên Tiktok cực nhanh và đơn giản

Thứ 7, 20/04/2024 14:39
Có nhiều video đã đăng trên Tiktok cá nhân nhưng bạn không muốn tiếp tục hiển thị. Dưới đây là hướng dẫn chi tiết cách ẩn video trên kênh Tiktok nhanh và đơn giản nhất.

Mô hình AI biến ảnh thành video khiến giới công nghệ lo ngại

Thứ 7, 20/04/2024 09:33
Microsoft đã giới thiệu một mô hình trí tuệ nhân tạo (AI) mới có thể tạo ra các video siêu thực về khuôn mặt người nói chuyện từ một hình ảnh tĩnh.

Cách khoá trang Facebook cá nhân với người lạ đơn giản nhất

Thứ 6, 19/04/2024 09:01
Dưới đây là các bước hướng dẫn bạn cách khóa trang Facebook cá nhân không cho người lạ xem thông tin, bài đăng của mình để đảm bảo an toàn trên mạng xã hội.

Quảng cáo cá độ bóng đá trực tuyến, FPT Telecom bị xử phạt gần 100 triệu đồng

Thứ 5, 18/04/2024 12:46
FPT Telecom vừa bị Thanh tra Bộ TT&TT xử phạt vi phạm hành chính với số tiền 85 triệu đồng vì hành vi phát sóng trực tiếp trận đấu có hình ảnh quảng bá, quảng cáo website cá độ.
     
Nổi bật trong ngày

Mô hình AI biến ảnh thành video khiến giới công nghệ lo ngại

Thứ 7, 20/04/2024 09:33
Microsoft đã giới thiệu một mô hình trí tuệ nhân tạo (AI) mới có thể tạo ra các video siêu thực về khuôn mặt người nói chuyện từ một hình ảnh tĩnh.

Cách ẩn video đã đăng trên Tiktok cực nhanh và đơn giản

Thứ 7, 20/04/2024 14:39
Có nhiều video đã đăng trên Tiktok cá nhân nhưng bạn không muốn tiếp tục hiển thị. Dưới đây là hướng dẫn chi tiết cách ẩn video trên kênh Tiktok nhanh và đơn giản nhất.

Tháng 3/2024, phát hiện 124.579 website giả mạo cơ quan, tổ chức

Chủ nhật, 21/04/2024 12:05
Thông tin được công bố bởi Trung tâm Giám sát an toàn không gian mạng quốc gia (CSSC- thuộc Cục An toàn thông tin, Bộ TT&TT). Ngoài số lượng website giả mạo “khủng”, Trung tâm cũng ghi nhận 88.990 lỗ hổng mạng.
xe.nguoiduatin.vn