Review sản phẩm
Làm thế nào tôi chạy một LLM địa phương trên Raspberry Pi của tôi
Th4
Bản tóm tắt
AI chatbot như Chatgpt và Google Gemini đã rất phổ biến trong những năm gần đây. Bạn có thể truy cập các chatbot này trực tuyến hoặc thông qua các ứng dụng di động hoặc máy tính để bàn chuyên dụng. Tất cả các yêu cầu của bạn được gửi đến máy chủ của Chatbot và được xử lý trên đám mây, với các phản hồi được gửi lại cho máy tính hoặc điện thoại của bạn.
Tuy nhiên, bạn có thể không thích ý tưởng về mọi cuộc trò chuyện bạn có với một chatbot AI được gửi lên đám mây. Tốt nhất, nó đặt thông tin của bạn có nguy cơ vi phạm dữ liệu và tồi tệ nhất, các công ty có thể quyết định sử dụng thông tin đó cho mục đích của chính họ, chẳng hạn như quảng cáo được nhắm mục tiêu.
Tin tốt là có thể chạy mô hình ngôn ngữ lớn (LLM) của riêng bạn trên máy tính. Tất cả các phản hồi của chatbot sau đó được tạo cục bộ và không có gì được gửi lên đám mây. Thậm chí có thể chạy LLM cục bộ trên một số mô hình Raspberry PI.
Raspberry Pi 5
Raspberry Pi 5 là một máy tính một bảng mạnh (SBC) mạnh mẽ ra mắt vào cuối năm 2023. Thật tuyệt vời cho các dự án công nghệ DIY hoặc thậm chí là máy tính để bàn năng lượng thấp.
Chọn đúng Raspberry Pi
Pi của bạn càng mạnh mẽ thì càng tốt
Pocket-Lint / Raspberry Pi
Chạy LLM thường yêu cầu các máy có GPU mạnh mẽ để có kết quả tốt nhất. Tuy nhiên, GPU tích hợp trong các mô hình Raspberry Pi cung cấp rất ít trợ giúp khi nói đến các tính toán phức tạp liên quan đến việc chạy LLM.
Do đó, các yếu tố chính là số lượng RAM và CPU. Điều này có nghĩa là Raspberry Pi 5 là lựa chọn tốt nhất. Nó có CPU nhanh nhất và hỗ trợ RAM lên tới 16GB, trong khi Raspberry Pi 4 đứng đầu ở mức 8GB. Bạn có thể chạy LLM trên Raspberry Pi 4, nhưng Raspberry Pi 5 tối đa sẽ cho bạn kết quả tốt nhất.
Tôi đã có thể nhận được một số mô hình nhỏ hơn, chẳng hạn như Qwen2.5: 0,5b, chạy trên Raspberry Pi 3B, nhưng nó khá chậm.
Bạn có thể thử một mô hình Raspberry Pi cũ hơn, nhưng kết quả khó có thể tuyệt vời. Tôi đã có thể nhận được một số mô hình nhỏ hơn, chẳng hạn như Qwen2.5: 0,5b, chạy trên Raspberry Pi 3B, nhưng nó khá chậm và Raspberry Pi sớm bị nóng. Nếu bạn dự định mua PI để chạy LLM, thì tôi chắc chắn sẽ chọn Raspberry Pi 5 với 16GB RAM.
Có liên quan
Raspberry Pi 5 vs 4: Mới hơn?
Sau khi thử nghiệm, chúng tôi đặt hai máy tính nhỏ này đối đầu để xem cái nào xuất hiện trên đầu.
Chọn sử dụng LLM nào
Bạn sẽ nhận được niềm vui nhất từ các mô hình nhỏ hơn
Khi bạn đã chọn phần cứng của mình, bạn cần quyết định sử dụng LLM nào. Có rất nhiều tùy chọn bạn có thể chọn, và lựa chọn của bạn phần lớn sẽ được hướng dẫn bởi thực tế là bạn sẽ chạy nó trên Raspberry Pi.
Càng nhiều thông số mà một mô hình có, càng có nhiều khả năng PI của bạn sẽ đấu tranh để xử lý tốc độ. Các mô hình với 3-5 tỷ tham số nên chạy hợp lý, nhưng bất cứ điều gì cao hơn có thể là một cuộc đấu tranh. Bạn có thể chọn một mô hình nhẹ hơn với các thông số 1 hoặc 2 tỷ và bạn sẽ thấy rằng chúng sẽ chạy dễ dàng hơn trên Raspberry Pi của bạn.
Một số tùy chọn nhẹ tốt sẽ chạy tốt trên Raspberry Pi 4 hoặc Raspberry Pi 5 bao gồm Tinyllama, Gemma và Qwen2.5.
Có liên quan
Grok là gì và nó có thể làm gì? AI Chatbot của Elon Musk đã giải thích
Một chatbot AI dành riêng cho người dùng Twitter đã trả tiền và không phải là X trong tầm nhìn.
Cài đặt OS Raspberry Pi trên Raspberry Pi của bạn
PI của bạn cần một hệ điều hành để chạy LLM của bạn
Khi bạn đã quyết định về phần cứng bạn sẽ sử dụng và mô hình bạn sẽ chạy, bạn đã sẵn sàng để bắt đầu. Bạn sẽ cần cài đặt OS Raspberry Pi trên Raspberry Pi nếu nó chưa được cài đặt.
- Tải xuống phần mềm Raspberry Pi Imager và kết nối thẻ SD của bạn với máy tính của bạn.
- Nhấp Thiết bị Raspberry Pi và chọn mô hình Raspberry Pi của bạn.
- Lựa chọn Hệ điều hành Và chọn phần mềm Raspberry Pi OS cho thiết bị của bạn.
- Nhấp Kho và chọn lưu trữ của bạn.
- Nhấp vào Tiếp theo.
- Lựa chọn Chỉnh sửa cài đặt.
- Dưới Tổng quan Tab, nhập a tên máy chủ Đối với Raspberry Pi của bạn nếu bạn muốn thay đổi nó.
- Nhập a Tên người dùng Và mật khẩu Bạn sẽ sử dụng để truy cập từ xa PI của bạn.
- Nhập SSID Và mật khẩu Đối với Wi-Fi của bạn nếu bạn muốn Raspberry Pi truy cập internet không dây.
- Nhấp vào Dịch vụ Tab và kiểm tra Bật SSH Để cho phép bạn truy cập Raspberry Pi qua SSH từ máy tính.
- HĐH Raspberry Pi sẽ được cài đặt. Điều này có thể mất một thời gian.
- Đóng các cài đặt và nhấp vào Đúng.
- Xác nhận rằng bạn muốn ghi đè lên thiết bị lưu trữ của mình.
- HĐH Raspberry Pi sẽ được ghi vào thiết bị lưu trữ của bạn.
- Khi hoàn thành, hãy kết nối thiết bị lưu trữ của bạn với Raspberry Pi và khởi động nó.
Cài đặt Ollama trên Raspberry Pi của bạn
Công cụ nguồn mở cho phép bạn chạy LLM của mình
Khi bạn đã cài đặt Raspberry Pi OS, đã đến lúc cài đặt phần mềm Ollama sẽ chạy LLM của bạn. Bạn có thể cài đặt nó trực tiếp từ Raspberry Pi của bạn.
- Trong PowerShell trên Windows hoặc Terminal trên Mac, hãy nhập như sau:
ssh (your_username)@(your_hostname).local
- Nhập mật khẩu của bạn để đăng nhập.
- Nhập phần sau để cài đặt Ollama:
curl -fsSL https://ollama.com/install.sh | sh
- Sẽ mất một thời gian để Ollama cài đặt.
- Sau khi cài đặt hoàn tất, hãy nhập phần sau, thay thế (model_name) với tên của mô hình bạn muốn sử dụng và (tham số_size) Với số lượng tham số bạn muốn sử dụng:
ollama run (model_name):(parameter_size)
- Ví dụ: để sử dụng Gemma3 với một tỷ tham số, bạn sẽ nhập:
ollama run gemma3:1b
- Bạn sẽ thấy một số thanh tiến trình khi mô hình được cài đặt.
- Khi mô hình đã được cài đặt, nó đã sẵn sàng để sử dụng.
Chạy mô hình LLM của bạn trên Raspberry Pi của bạn
Chatbot AI rất riêng của bạn đang chạy trong nhà của bạn
Khi mô hình đã hoàn tất cấu hình, bạn sẽ thấy yêu cầu bạn nhập dấu nhắc. Bây giờ bạn có thể nhập một lời nhắc giống như bạn làm với bất kỳ AI Chatbot nào khác.
Ví dụ: bạn có thể yêu cầu nó viết cho bạn một bài thơ hoặc để giải thích cách thức hoạt động của một động cơ hơi nước, hoặc hầu hết mọi thứ khác mà bạn sẽ hỏi một chatbot AI.
Các câu trả lời có thể mất nhiều thời gian hơn bạn đã từng sử dụng khi sử dụng AI chatbot như Chatgpt, nhưng miễn là bạn sử dụng phần cứng tốt và không cố gắng chạy LLM với quá nhiều tham số, bạn nên có một chatbot AI có thể sử dụng đầy đủ.
Có liên quan
Tôi đã thử DeepSeek và Chatgpt để tìm ra cái nào thực sự tốt hơn
Các trợ lý AI tương tự theo một số cách, và rất khác nhau ở những người khác. Đây là những gì bạn nên sử dụng.
Tại sao bạn nên chạy LLM trên Raspberry Pi của bạn?
Chạy một LLM địa phương cung cấp quyền riêng tư lớn hơn nhiều
Có thể chạy LLM trên Raspberry Pi là rất tốt, nhưng điều đó không có nghĩa là bạn thực sự nên làm. Tuy nhiên, có một vài lợi ích từ việc sử dụng LLM cục bộ thay vì chuyển sang các chatbot AI như TATGPT hoặc Song Tử.
Bạn có thể hỏi bất cứ điều gì bạn muốn mà không phải lo lắng về ai đó tại Openai hoặc Google đang đọc lời nhắc của bạn và theo dõi mọi thứ bạn yêu cầu.
Lợi ích lớn nhất là mọi thứ xảy ra tại địa phương. Điều đó có nghĩa là bạn có thể hỏi bất cứ điều gì bạn muốn mà không phải lo lắng về ai đó tại Openai hoặc Google đang đọc lời nhắc của bạn và theo dõi mọi thứ bạn yêu cầu. Ví dụ, không nên bao gồm thông tin nhạy cảm trong các lời nhắc khi sử dụng các ứng dụng như TATGPT, nhưng bạn có thể làm như vậy bằng cách sử dụng LLM của riêng mình mà không phải lo lắng rằng những người khác có thể theo dõi những gì bạn đã yêu cầu và có thể bán thông tin đó.
Một lợi ích khác là bạn có thể sử dụng LLM cục bộ của mình ngay cả khi internet bị hỏng. Miễn là bạn vẫn có thể kết nối với Raspberry Pi trong nhà, bạn có thể sử dụng LLM của mình. Bạn không còn là thương xót của mất mạng internet; LLM của bạn sẽ luôn có sẵn khi bạn cần.
Bạn cũng có thể sử dụng LLM của mình cho các dịch vụ địa phương khác. Ví dụ: sử dụng phần mềm tự động hóa gia đình như Trợ lý gia đình, bạn có thể sử dụng LLM địa phương của mình để tạo các thông điệp được cá nhân hóa khi bạn hoặc các thành viên khác trong gia đình về nhà. Bạn không cần phải lo lắng về chi phí API vì mọi thứ sẽ được tạo tại nhà trên Raspberry Pi của bạn.
Có liên quan
6 dự án Raspberry Pi vượt xa những điều cơ bản
Bạn có thể làm nhiều hơn bạn có thể nghĩ với Raspberry Pi.
Xem chi tiết và đăng kýKhám phá thêm từ Phụ Kiện Đỉnh
Đăng ký để nhận các bài đăng mới nhất được gửi đến email của bạn.
