Vào năm 2021, một nhóm các nhà nghiên cứu muốn xây dựng một bộ dữ liệu bằng tiếng Đan Mạch để đào tạo trí tuệ nhân tạo – nhưng họ gặp phải một số vấn đề. Rất nhiều dữ liệu ở Đan Mạch, chẳng hạn như các bài báo, có bản quyền khá chặt chẽ.
Các nhà nghiên cứu có quyền truy cập vào các văn bản như mã số thuế của Đan Mạch, nhưng họ biết những cuốn sách khô khan đó không thể hiện rõ ràng cách người Đan Mạch thực sự viết hoặc nói.
Vì vậy, họ chuyển sang giải pháp duy nhất ở Đan Mạch: heste-nettet.dk .
Heste-Nettet, dịch ra là “mạng lưới ngựa”, là một diễn đàn web của Đan Mạch được thành lập vào năm 1997 để những người cưỡi ngựa, người chăn nuôi và những người đam mê ngựa khác thảo luận về ngựa. Nó cũng tình cờ trở thành một trong những diễn đàn trực tuyến đầu tiên của Đan Mạch và trọng tâm của các cuộc thảo luận nhanh chóng mở rộng sang nhiều chủ đề khác ngoài những con ngựa: những tình huống khó xử trong các mối quan hệ, lời khuyên của bác sĩ nhi khoa, các bài toán trung học, một người nên đun sôi nhẹ trứng trong bao nhiêu phút.
Thực tế tất cả người Đan Mạch đều biết đến Heste-Nettet. Thông thường, khi tìm kiếm một câu hỏi bằng tiếng Đan Mạch trên Google, người tìm kiếm sẽ kết thúc trên diễn đàn này. Đó là nơi “mọi câu hỏi có thể có trong vũ trụ đều đã được hỏi - và được trả lời”, một người dùng viết trên Reddit. “Nó giống như câu trả lời của Yahoo nhưng tốt hơn. Hầu hết mọi người sử dụng Heste-Nettet thay vì Wikipedia.”
Sự mở rộng của Heste-Nettet phản ánh cách các diễn đàn internet sơ khai khác trong thời đại tiền truyền thông xã hội phát triển từ các chủ đề thích hợp thành kho lưu trữ Hỏi & Đáp cho mục đích chung. Các website khác ít tập trung vào ngựa hơn bao gồm Bodybuilding.com và Stackoverflow.com.
Các mô hình ngôn ngữ lớn, cho phép những thứ như ChatGPT tương tác một cách trôi chảy như vậy, đang ngày càng phổ biến và mạnh mẽ hơn và bất kỳ ai hy vọng phát triển các phiên bản ngôn ngữ không phải tiếng Anh sẽ cần phải tìm Heste-Nettets của riêng mình để có được dữ liệu cần thiết.
Ngày nay, Heste-Nettet duy trì tính thẩm mỹ Web 1.0 rõ rệt. Trang đầu của nó có các bài đăng về găng tay cưỡi ngựa tốt nhất cho mùa thu, những con ngựa giống sẵn sàng để sinh sản và những con ngựa cái có sẵn để mua.
Các bài đăng của Heste-Nettet chiếm 22% tập dữ liệu của Đan Mạch, khiến nó trở thành nguồn tài liệu lớn nhất trong những gì dường như là lựa chọn hàng đầu cho dữ liệu đào tạo AI bằng ngôn ngữ. Leon Derczynski, giáo sư khoa học máy tính ở Copenhagen, người đứng đầu dự án, cho biết cả Reddit và X (trước đây là Twitter) đều không cung cấp khối lượng văn bản thông thường bằng tiếng Đan Mạch cần thiết để đào tạo AI. “Chúng tôi chỉ còn lại Heste-Nettet.”
Derczynski cho biết, từ góc nhìn của một nhà nghiên cứu, cuộc trò chuyện liên quan đến ngựa và không liên quan đến ngựa là “rất phong phú” và bao gồm cả tiếng lóng thông thường.
Anh Nguyễn
Bình luận tiêu biểu (0)