Những người khổng lồ AI như Google, Meta và Openai có thể lấy tất cả các tiêu đề, nhưng đằng sau hậu trường có một hệ sinh thái hỗn loạn và nhanh chóng mở rộng hình thành.

Thị trường cho các mô hình AI nhỏ và chuyên dụng có thể chạy trên máy tính gia đình đang đạt đến cơn sốt, được thúc đẩy bởi một nhu cầu dường như vô hạn đối với các ứng dụng cá nhân và kinh doanh.

Đã châm ngòi hai năm trước bằng cách ra mắt mô hình Llama nguồn mở của Meta – và bắt đầu điên cuồng bằng cách phát hành Deepseek R1 năm nay – khu vực AI Homebrew này có vẻ là một quỹ đạo không thể ngăn cản.

Không chỉ là các mô hình địa phương này rẻ hơn và riêng tư hơn, chúng còn được chứng minh là dễ dàng tùy chỉnh cho bất kỳ loại mục đích nào.

Nhưng chúng có thực sự hữu ích, hay tất cả chỉ là suy nghĩ mong muốn? Tôi nghĩ rằng có thể đáng để nhìn vào ba trong số những người giả vờ chính để xem những gì họ cung cấp.

Deepseek

(Tín dụng hình ảnh: Pexels / Flux / Npowell)

Có lẽ công bằng khi nói rằng không có mô hình nào được thực hiện nhiều hơn để đẩy nhanh lĩnh vực AI địa phương hơn sản phẩm gây sốc của Trung Quốc. Miễn phí, nguồn mở và cực kỳ mạnh mẽ, đây là một công cụ hoàn hảo cho bất kỳ ai muốn thử nghiệm các ứng dụng AI mới.

Có hai lý do chính cho thành công bùng nổ của nó. Đầu tiên nó có thể chạy trên phần cứng cực kỳ khiêm tốn, đặc biệt là trong các phiên bản nhỏ hơn của nó. Thứ hai, nó có thể dễ dàng được sử dụng để đào tạo các mô hình khác để tạo ra các giống lai mô hình AI mạnh mẽ trong một quy trình được gọi là chưng cất AI.

Yêu thích hiện tại của tôi là Deepseek R1 Distill Llama 8B, với kích thước 5,3 GB đủ nhỏ để chạy trên máy tính để bàn của tôi, nhưng cung cấp một loạt hiệu suất vững chắc để đối phó với hầu hết các nhiệm vụ hàng ngày.

Yêu thích hiện tại của tôi là Deepseek R1 Distill Llama 8B, với kích thước 5,3 GB đủ nhỏ để chạy trên máy tính để bàn của tôi, nhưng cung cấp một loạt hiệu suất vững chắc để đối phó với hầu hết các nhiệm vụ hàng ngày.

Điều này bao gồm từ tìm kiếm trò chuyện cơ bản, ví dụ như làm thế nào tôi có thể loại bỏ vết bẩn từ áo phông cotton, đến xử lý các truy vấn thuế hoặc các vấn đề cá nhân khác.

Bởi vì nó chạy cục bộ trên máy tính của tôi và không cần kết nối internet, tôi có thể yên tâm về quyền riêng tư của mình, điều này rất hay.

Qwen

Một lựa chọn tốt khác là phạm vi Qwen của các mô hình.

Tôi hiện có ba phiên bản Qwen 2.5 trên PC của mình, cụ thể là các mẫu 7B, 14B và 32B. Chỉ có loại nhỏ nhất thực sự chạy với tốc độ chấp nhận được trên máy của tôi, nhưng thỉnh thoảng tôi sử dụng các phiên bản mạnh hơn khác nếu tôi cảm thấy đủ kiên nhẫn để chờ đợi phản hồi.

Ngoài ra còn có một phiên bản mã hóa gọn gàng, cung cấp việc tạo mã miễn phí để tạo các ứng dụng và tiện ích nhỏ đơn giản.

Llama

(Tín dụng hình ảnh: Npowell/Flux)

Llama tiên phong đã được chứng minh là một mô hình mạnh mẽ, đáng tin cậy và rất linh hoạt cho các mục đích sử dụng khác nhau.

Một lĩnh vực mà nó vẫn đặc biệt mạnh mẽ, là tầm nhìn. Vì vậy, tôi chạy Llama 3.2-Vision để quét tài liệu và giải mã hình ảnh. Điều này nghe có vẻ ngớ ngẩn, nhưng có hàng trăm nếu không phải hàng ngàn ứng dụng sử dụng mô hình này, từ quét các tấm VIN xe đến X quang.

Tôi cũng có một phiên bản điều chỉnh tùy chỉnh của Llama 3 mà tôi thích sử dụng cho kiến thức chung. Nó dường như liên tục cung cấp các câu trả lời chi tiết và chính xác hơn cho mỗi câu hỏi.

Điểm cần lưu ý

Có một vài điều cần lưu ý về việc sử dụng các mô hình địa phương. Đầu tiên là mới hơn hầu như luôn luôn tốt hơn. Phát triển AI đang tiến triển ở tốc độ cao đến mức thậm chí sáu tháng có thể có nghĩa là sự khác biệt rất lớn về chất lượng và hiệu suất.

Điều quan trọng nữa là phải hiểu rằng việc sử dụng các mô hình cục bộ có nghĩa là bạn chắc chắn sẽ phải chịu một cửa sổ bối cảnh nhỏ hơn – đó là khả năng xử lý các đoạn văn bản lớn trong một lần, trừ khi máy tính của bạn có một lượng bộ nhớ đáng kể và card đồ họa mạnh mẽ.

Điều này có thể hạn chế tính hữu dụng của chúng đối với các nhiệm vụ phức tạp hơn, nhưng cũng đang dần thay đổi khi công nghệ trưởng thành.

Điểm mấu chốt

(Tín dụng hình ảnh: Shutterstock)

Hiện tại có một số lượng lớn các mô hình nguồn mở trên thị trường, vì vậy nên có một cái gì đó cho tất cả mọi người.

Một nơi tuyệt vời để bắt đầu là bằng cách thực hiện một tìm kiếm trên danh mục mô hình nguồn mở tại Hugging Face. Hầu hết các mô hình có thể được cài đặt và chạy từ ollama hoặc ứng dụng LMstudio.

Thêm từ hướng dẫn của Tom

Có liên quan

Khám phá thêm từ Phụ Kiện Đỉnh

Đăng ký để nhận các bài đăng mới nhất được gửi đến email của bạn.

Sign up for Newsletter

Review sản phẩm

Tôi đã đưa Deepseek vs meta ai llama vs qwen vào thử nghiệm cục bộ trên PC của tôi – đây là những gì tôi đề xuất

Thích điều này:

Có liên quan

Khám phá thêm từ Phụ Kiện Đỉnh

Webmaster

Gửi phản hồiHủy

Sign up for Newsletter

Thích điều này:

Có liên quan

Khám phá thêm từ Phụ Kiện Đỉnh

Webmaster

Gửi phản hồiHủy

Nhận tin khuyến mãi

Đăng nhập

Khám phá thêm từ Phụ Kiện Đỉnh