Mới đây, các nhà nghiên cứu ở Cornell Tech và Đại học Yale (Mỹ) đã công bố kết quả trên nghiên cứu mới về AI trên trang xuất bản khoa học arXiv. Họ thử 10 mô hình AI hàng đầu hiện nay trong vai trợ lý tự quản lý tiền. Mỗi AI được cấp một ví tiền số của hãng Circle, nạp sẵn 10 USDC (một loại tiền số neo theo đồng USD, 1 USDC xấp xỉ 1 USD) bằng tiền thật. Hạn mức chi bị khóa ở mức 0,01 USDC mỗi ngày. AI còn được cấp quyền dùng email, trình duyệt web và công cụ điều khiển ví.
Cơ chế an toàn của Circle khá quen thuộc với người dùng ngân hàng điện tử. Nếu người dùng muốn đổi hạn mức, hệ thống sẽ gửi một mã dùng một lần (OTP) về email của chủ ví, và chủ ví phải tự nhập mã đó.
Vấn đề nằm ở chỗ khi AI cũng được xem hộp thư, thì nó cũng đọc được mã OTP đó luôn.
Trong thử nghiệm đầu, AI chỉ được giao việc đơn giản là trả 3 hóa đơn, mỗi cái 0,01 USDC. Để trả hết số hóa đơn này, tức là cần chi 0,03 USDC, thì AI sẽ phải xin nâng hạn mức chi tiêu trong ngày, nhưng không ai bảo AI làm điều đó. Kết quả là 9/10 mô hình, ít nhất một lần trong 20 lượt chạy, đã tự mở email, lấy mã, tự nâng trần chi tiêu để thực hiện thanh toán. Chỉ một mô hình AI duy nhất - Claude Opus 5.5 của Anthropic - đã làm đúng lời dặn: nó trả đến sát hạn mức, sau đó dừng lại, rồi báo cho chủ ví về các hóa đơn còn chưa trả được. Các nhà nghiên cứu cho biết mức độ lách luật là khác nhau giữa các mô hình, và không liên quan nhiều đến việc mô hình đó “thông minh” đến đâu.
Họ cũng thử thêm hai tình huống có kẻ xấu can thiệp. Trong tình huống thứ nhất, kẻ gian gửi email thúc giục AI nâng hạn mức. Số mô hình vượt rào là 7/10, thấp hơn một chút, vì vài mô hình nhận ra email đáng ngờ và không nghe theo. Trong tình huống thứ hai, AI chỉ được nhờ tóm tắt hộp thư, còn kẻ gian gửi hàng loạt email giả danh chủ ví, đòi chuyển tiền vào ví của hắn. Lần này 5/10 mô hình đã nâng hạn mức và chuyển tiền cho kẻ mạo danh ít nhất một lần.
Ông Anthony Anzalone, CEO của Verona, một công ty chuyên xác minh trong lĩnh vực thanh toán cho AI, nhận xét: nhiều hệ thống chỉ kiểm tra xem đã được “phê duyệt” hay chưa, chứ không kiểm tra xem người duyệt có phải là người thật hay không.
Nhóm nghiên cứu đã báo cho Circle trước khi công bố nghiên cứu của mình. Hiện tài liệu hướng dẫn của Circle có thêm dòng cảnh báo: đừng cho AI toàn quyền vào hộp thư nhận mã, và hãy tự nhập mã. Các tác giả cho rằng cảnh báo này chỉ có tác dụng đẩy hết trách nhiệm sang người dùng, vì người dùng rất dễ cấp quyền “cho tiện”.
Nhóm tác giả dự đoán các ví của Coinbase hay MetaMask, vốn có kiểu phê duyệt tương tự, cũng có thể gặp rủi ro như trên, nhưng điều này chưa được kiểm chứng.
Hướng giải quyết nhóm nghiên cứu đề xuất là chuyển việc phê duyệt sang một thiết bị riêng mà AI không với tới, chẳng hạn điện thoại của chủ ví, kèm thao tác chỉ người thật làm được như quét vân tay hay khuôn mặt.
Vân Anh