Việc nhồi nhét AI vào Raspberry Pi là một kỳ công thú vị. Trong một thế giới lý tưởng, Pi được trang bị đủ phần cứng để chạy bất kỳ mô hình nào bạn giao cho nó, nhưng thực tế là, khả năng của nó khá hạn chế. Trên thực tế, ai đó đã tạo ra một dự án nghệ thuật minh họa cho sự hạn chế của nó. Tất nhiên, cộng đồng Raspberry Pi, vốn là những người thích mày mò, coi đây là một thách thức hơn là một hạn chế và bắt tay vào tạo ra các phiên bản nhẹ hơn của các mô hình AI có thể chạy trên SBC. Nó không nhanh như chớp như ChatGPT hay một mô hình được lưu trữ trên NPU, nhưng nó vẫn có thể hoàn thành nhiệm vụ.
Tuy nhiên, có một yêu cầu cá nhân của tôi đối với một dự án AI trên Raspberry Pi: nó phải có một khuôn mặt dễ thương. Nếu không thì còn ý nghĩa gì nữa? May mắn thay, một ai đó trên subreddit Raspberry Pi đã khoe một AI ấn tượng có khuôn mặt riêng. Vậy là tôi đã đáp ứng được tất cả các yêu cầu rồi.
Mô hình AI cục bộ Raspberry Pi 5 này làm được những gì bạn yêu cầu với một nụ cười rạng rỡ.
Sản phẩm tuyệt vời này là ý tưởng của người dùng Reddit u/syxa, người đã chia sẻ tiến độ mới nhất của dự án Max Headbox trong một bài viết. Phần ấn tượng nhất của dự án này là cách mọi thứ được xử lý trên chính Pi. Thông thường, chúng ta thấy mọi người giảm bớt áp lực lên phần cứng của SBC bằng cách chuyển các tác vụ chuyên sâu sang một tác nhân đám mây, nhưng ở đây thì sao? Tất cả đều từ chính Raspberry Pi 5, cưng à.
Thêm vào đó, nó còn có một khuôn mặt dễ thương. Hãy xem thử nhé:
Thật tuyệt vời phải không? Tôi đặc biệt ấn tượng bởi độ phức tạp của nhiệm vụ được giao và cách nó được phản hồi một cách nhanh chóng. Tôi chắc chắn rằng điều này sẽ trở thành một phần không thể thiếu trong các ngôi nhà thông minh, nơi mà phản ứng tức thời là không cần thiết, chẳng hạn như bật đèn hay xem thời tiết.
Đây là cách người tạo ra nó mô tả:
Hi all, longtime lurker of this sub, I thought I might share a small project I’ve built over the past few months. This is a tiny agent that can run entirely on a Raspberry Pi 5 16GB. It’s capable of executing tools and runs some of the smallest good models I could find (specifically Qwen3:1.7b and Gemma3:1b).
From wake-word detection (using vosk), to transcription (faster-whisper), to the actual LLM inference, everything happens on the Pi 5 itself. It was definitely a challenge given the hardware constraints, but I learned a lot along the way.
Nếu bạn muốn tìm hiểu thêm về cách thức đạt được điều này, hãy ghé thăm blog của nhà thiết kế để có cái nhìn tổng quan toàn diện về dự án và cách họ quản lý mọi thứ trong Pi mà không cần dựa vào các mô hình AI bên ngoài. Và nếu bạn muốn tìm hiểu sâu hơn về mã nguồn, bạn có thể truy cập trang GitHub của Max Headbox.