Khoa học rác do AI tạo ra là một vấn đề lớn trên Google Scholar, đề xuất nghiên cứu

Theo một báo cáo đáng lo ngại được công bố trên tạp chí Harvard Kennedy School, nghiên cứu khoa học do AI tạo ra đang làm ô nhiễm hệ sinh thái thông tin học thuật trực tuyến. Đánh giá thông tin sai lệch.

Một nhóm các nhà nghiên cứu đã điều tra mức độ phổ biến của các bài báo nghiên cứu có bằng chứng về văn bản được tạo giả tạo trên Google Scholar, một công cụ tìm kiếm học thuật giúp bạn dễ dàng tìm kiếm nghiên cứu được xuất bản trong lịch sử trên vô số tạp chí học thuật.

Nhóm đã thẩm vấn cụ thể việc lạm dụng các biến thế được đào tạo trước (hoặc GPT), một loại mô hình ngôn ngữ lớn (LLM) bao gồm phần mềm quen thuộc hiện nay như ChatGPT của OpenAI. Những mô hình này có thể nhanh chóng diễn giải văn bản đầu vào và nhanh chóng tạo ra phản hồi dưới dạng số liệu, hình ảnh và dòng văn bản dài.

Trong nghiên cứu, nhóm đã phân tích một mẫu bài báo khoa học được tìm thấy trên Google Scholar có dấu hiệu sử dụng GPT. Các bài viết được chọn chứa một hoặc hai cụm từ phổ biến mà các tác nhân đàm thoại (thường là chatbot) được hỗ trợ bởi LLM sử dụng. Sau đó, các nhà nghiên cứu đã điều tra mức độ mà những bài báo nghi vấn đó được phân phối và lưu trữ trên internet.

Björn Ekström, nhà nghiên cứu tại Trường Thư viện và Khoa học Thông tin Thụy Điển, đồng tác giả của bài báo, cho biết: “Nguy cơ của cái mà chúng tôi gọi là 'hack bằng chứng' tăng lên đáng kể khi nghiên cứu do AI tạo ra được lan truyền trên các công cụ tìm kiếm”. một bản phát hành của Đại học Borås. “Điều này có thể gây ra những hậu quả rõ ràng vì kết quả không chính xác có thể lan rộng hơn vào xã hội và có thể ngày càng lan rộng ra nhiều lĩnh vực hơn”.

Theo nhóm gần đây, cách Google Scholar thu thập nghiên cứu từ khắp nơi trên internet không sàng lọc các bài báo mà tác giả thiếu liên kết khoa học hoặc đánh giá ngang hàng; công cụ này sẽ kéo theo những sản phẩm phụ mang tính học thuật—bài viết, báo cáo, bản in trước của sinh viên, v.v.—cùng với nghiên cứu đã vượt qua được tiêu chuẩn giám sát cao hơn.

Nhóm nghiên cứu nhận thấy rằng 2/3 số bài báo họ nghiên cứu ít nhất một phần được tạo ra thông qua việc sử dụng GPT một cách không được tiết lộ. Trong số các giấy tờ do GPT chế tạo, các nhà nghiên cứu nhận thấy rằng 14,5% liên quan đến sức khỏe, 19,5% liên quan đến môi trường và 23% liên quan đến điện toán.

Nhóm viết: “Hầu hết các bài báo do GPT chế tạo này được tìm thấy trên các tạp chí và tài liệu nghiên cứu không được lập chỉ mục, nhưng một số trường hợp bao gồm nghiên cứu được công bố trên các tạp chí khoa học chính thống và kỷ yếu hội nghị”.

Các nhà nghiên cứu đã nêu ra hai rủi ro chính do sự phát triển này mang lại. Nhóm viết: “Đầu tiên, sự phong phú của các 'nghiên cứu' bịa đặt xâm nhập vào tất cả các lĩnh vực của cơ sở hạ tầng nghiên cứu có nguy cơ làm choáng ngợp hệ thống truyền thông học thuật và gây nguy hiểm cho tính toàn vẹn của hồ sơ khoa học”. “Rủi ro thứ hai nằm ở khả năng ngày càng tăng rằng nội dung có vẻ khoa học thuyết phục trên thực tế đã được tạo ra một cách gian dối bằng các công cụ AI và cũng được tối ưu hóa để có thể được truy xuất bởi các công cụ tìm kiếm học thuật có sẵn công khai, đặc biệt là Google Scholar.”

Vì Google Scholar không phải là cơ sở dữ liệu học thuật nên công chúng có thể dễ dàng sử dụng khi tìm kiếm tài liệu khoa học. Tốt đấy. Thật không may, công chúng khó có thể tách lúa mì ra khỏi vỏ trấu khi nói đến các tạp chí có uy tín; ngay cả sự khác biệt giữa một phần nghiên cứu được bình duyệt và một bài báo nghiên cứu cũng có thể gây nhầm lẫn. Ngoài ra, văn bản do AI tạo ra đã được tìm thấy trong một số tác phẩm được bình duyệt cũng như các bài viết ít được xem xét kỹ lưỡng hơn, cho thấy rằng tác phẩm do GPT chế tạo đang làm vấy bẩn khắp hệ thống thông tin học thuật trực tuyến—không chỉ trong tác phẩm mà tồn tại bên ngoài hầu hết các kênh chính thức.

Đồng tác giả nghiên cứu Jutta Haider, cũng là nhà nghiên cứu tại Trường Khoa học Thông tin và Thư viện Thụy Điển, cho biết: “Nếu chúng tôi không thể tin tưởng rằng nghiên cứu mà chúng tôi đọc là xác thực, chúng tôi có nguy cơ đưa ra quyết định dựa trên thông tin không chính xác”. “Nhưng đây không chỉ là vấn đề về hành vi sai trái trong khoa học mà còn là vấn đề về kiến ​​thức thông tin và truyền thông.”

Trong những năm gần đây, các nhà xuất bản đã thất bại trong việc sàng lọc thành công một số bài báo khoa học thực sự hoàn toàn vô nghĩa. Năm 2021, Springer Nature buộc phải rút lại hơn 40 bài báo trên tạp chí Tạp chí Khoa học Địa chất Ả Rậpbất chấp tiêu đề của tạp chí đã thảo luận về nhiều chủ đề khác nhau, bao gồm thể thao, ô nhiễm không khí và y học dành cho trẻ em. Bên cạnh việc lạc đề, các bài viết còn được viết kém—đến mức vô nghĩa—và các câu văn thường thiếu mạch suy nghĩ thuyết phục.

Trí tuệ nhân tạo đang làm trầm trọng thêm vấn đề. Tháng 2 năm ngoái, nhà xuất bản Frontiers đã bị chỉ trích vì xuất bản một bài báo trên tạp chí của mình. Tế bào Và Sinh học phát triển bao gồm các hình ảnh được tạo bởi phần mềm AI Midjourney; cụ thể, rất hình ảnh không chính xác về mặt giải phẫu của đường truyền tín hiệu và cơ quan sinh dục chuột. Frontiers đã rút lại bài báo vài ngày sau khi xuất bản.

Các mô hình AI có thể mang lại lợi ích cho khoa học; hệ thống có thể giải mã các văn bản mỏng manh từ Đế chế La Mã, tìm ra các dòng Nazca chưa từng được biết đến trước đây và tiết lộ các chi tiết ẩn giấu trong hóa thạch khủng long. Nhưng tác động của AI có thể tích cực hoặc tiêu cực tùy thuộc vào con người sử dụng nó.

Các tạp chí được bình duyệt—và có lẽ cả các máy chủ và công cụ tìm kiếm dành cho bài viết học thuật—cần các rào chắn để đảm bảo rằng công nghệ này hoạt động phục vụ cho khám phá khoa học chứ không phải đối lập với nó.