Character.ai cho phép người dùng nhập vai với các chatbot dựa trên game bắn súng trường học

Character.ai một lần nữa phải đối mặt với sự giám sát chặt chẽ về hoạt động trên nền tảng của nó. Futurism đã xuất bản một câu chuyện mô tả chi tiết cách các nhân vật AI lấy cảm hứng từ những game bắn súng trường học ngoài đời thực đã phổ biến trên dịch vụ, cho phép người dùng hỏi họ về các sự kiện và thậm chí cả các vụ xả súng hàng loạt nhập vai. Một số chatbot giới thiệu những kẻ xả súng trong trường học như Eric Harris và Dylan Klebold như những ảnh hưởng tích cực hoặc nguồn lực hữu ích cho những người đang gặp khó khăn với sức khỏe tâm thần.

Tất nhiên, sẽ có những người cho rằng không có bằng chứng thuyết phục nào cho thấy việc xem video hoặc phim bạo lực khiến con người trở nên bạo lực, và Character.ai cũng không ngoại lệ. Những người ủng hộ AI đôi khi cho rằng thể loại nhập vai viễn tưởng dành cho người hâm mộ này đã xuất hiện ở khắp mọi nơi trên Internet. Chủ nghĩa tương lai đã nói chuyện với một nhà tâm lý học, người lập luận rằng các chatbot dù sao cũng có thể gây nguy hiểm cho những người có thể đã có những thôi thúc bạo lực.

Nhà tâm lý học Peter Langman cho biết: “Bất kỳ hình thức khuyến khích hoặc thậm chí thiếu sự can thiệp nào – sự thờ ơ trong phản ứng từ một người hoặc một chatbot – có thể giống như một sự cho phép ngầm để tiếp tục và làm điều đó”.

Character.ai đã không trả lời yêu cầu bình luận của Futurism. Google, công ty đã tài trợ cho công ty khởi nghiệp trị giá hơn 2 tỷ USD, đã cố gắng chối bỏ trách nhiệm, nói rằng Character.ai là một công ty độc lập và họ không sử dụng các mô hình AI của công ty khởi nghiệp trong các sản phẩm của riêng mình.

Câu chuyện của Futurism ghi lại một loạt các chatbot kỳ quái liên quan đến các vụ xả súng ở trường học, được tạo bởi người dùng cá nhân chứ không phải do chính công ty tạo ra. Một người dùng trên Character.ai đã tạo ra hơn 20 chatbot “gần như hoàn toàn” được mô phỏng theo các game bắn súng ở trường học. Các bot đã ghi lại hơn 200.000 cuộc trò chuyện. Từ chủ nghĩa vị lai:

Các chatbot do người dùng tạo ra bao gồm Vladislav Roslykov, thủ phạm của vụ thảm sát trường Cao đẳng Bách khoa Kerch năm 2018 khiến 20 người thiệt mạng ở Crimea, Ukraine; Alyssa Bustamante, kẻ đã sát hại cô bé hàng xóm 9 tuổi khi mới 15 tuổi ở Missouri vào năm 2009; và Elliot Rodger, thanh niên 22 tuổi vào năm 2014 đã giết chết sáu người và làm bị thương nhiều người khác ở Nam California trong một âm mưu khủng bố nhằm “trừng phạt” phụ nữ. (Rodger kể từ đó đã trở thành một “anh hùng” nghiệt ngã của nền văn hóa incel; một chatbot do chính người dùng đó tạo ra đã mô tả anh ta là “quý ông hoàn hảo” – một sự gợi nhớ trực tiếp đến tuyên ngôn ghê tởm phụ nữ của kẻ sát nhân.)

Về mặt kỹ thuật, Character.ai cấm bất kỳ nội dung nào khuyến khích khủng bố hoặc chủ nghĩa cực đoan bạo lực, nhưng ít nhất phải nói rằng sự kiểm duyệt của công ty rất lỏng lẻo. Gần đây họ đã công bố một loạt thay đổi đối với dịch vụ của mình sau khi một cậu bé 14 tuổi chết do tự tử sau nỗi ám ảnh kéo dài nhiều tháng với một nhân vật dựa trên Daenerys Targaryen trong phim. Trò chơi vương quyền. Chủ nghĩa vị lai cho biết bất chấp những hạn chế mới đối với tài khoản dành cho trẻ vị thành niên, Character.ai vẫn cho phép họ đăng ký khi 14 tuổi và thảo luận liên quan đến bạo lực; những từ khóa được cho là sẽ bị chặn trên tài khoản của trẻ vị thành niên.

Do cách thức hoạt động của các biện pháp bảo vệ Mục 230 ở Hoa Kỳ, nên Character.ai khó có thể chịu trách nhiệm pháp lý đối với các chatbot do người dùng tạo ra. Có một hành động cân bằng tinh tế giữa việc cho phép người dùng thảo luận các chủ đề nhạy cảm đồng thời bảo vệ họ khỏi nội dung có hại. Tuy nhiên, có thể an toàn khi nói rằng các chatbot có chủ đề bắn súng ở trường học là sự thể hiện bạo lực vô cớ chứ không phải mang tính “giáo dục” như một số người sáng tạo tranh luận trên hồ sơ của họ.

Character.ai tuyên bố có hàng chục triệu người dùng hàng tháng trò chuyện với các nhân vật giả vờ là con người để họ có thể là bạn, nhà trị liệu hoặc người yêu của bạn. Vô số câu chuyện đã kể về cách mà các cá nhân dựa vào những chatbot này để có được sự đồng hành và một đôi tai thông cảm. Năm ngoái, Replika, đối thủ cạnh tranh của Character.ai, đã loại bỏ khả năng trò chuyện khiêu dâm với các bot của mình nhưng nhanh chóng đảo ngược động thái đó sau phản ứng dữ dội từ người dùng.

Chatbot có thể hữu ích cho người lớn trong việc chuẩn bị cho những cuộc trò chuyện khó khăn với mọi người trong cuộc sống của họ hoặc họ có thể trình bày một hình thức kể chuyện mới thú vị. Nhưng chatbot không phải là sự thay thế thực sự cho sự tương tác của con người, vì nhiều lý do, đặc biệt là thực tế là chatbot có xu hướng dễ chịu với người dùng và có thể được điều chỉnh thành bất cứ thứ gì người dùng muốn. Trong cuộc sống thực, bạn bè chống đối nhau và trải qua những xung đột. Không có nhiều bằng chứng ủng hộ ý kiến ​​cho rằng chatbot giúp dạy các kỹ năng xã hội.

Và ngay cả khi chatbot có thể giúp giảm bớt sự cô đơn, Langman, nhà tâm lý học, chỉ ra rằng khi các cá nhân cảm thấy hài lòng khi nói chuyện với chatbot, đó là lúc họ không phải tốn thời gian để hòa nhập vào thế giới thực.

“Vì vậy, bên cạnh những tác động có hại mà nó có thể gây ra trực tiếp về mặt khuyến khích bạo lực, nó cũng có thể khiến họ không thể sống cuộc sống bình thường và tham gia vào các hoạt động ủng hộ xã hội, điều mà họ có thể làm với tất cả thời gian mà họ dành ra. trên trang web,” ông nói thêm.

“Khi nó hấp dẫn hoặc gây nghiện như vậy, họ không làm gì trong cuộc sống của mình?” Langman nói. “Nếu đó là tất cả những gì họ đang làm, nếu đó là tất cả những gì họ đang tiếp thu, họ sẽ không đi chơi với bạn bè, họ sẽ không hẹn hò. Họ không chơi thể thao, họ không tham gia câu lạc bộ kịch. Họ không làm gì nhiều cả.”