✨ Hệ Thống Trợ Lý AI Đa Phương Thức Thế Hệ Mới

Trợ lý robot thông minh
thấu hiểu và đồng hành

Sự kết hợp hoàn hảo giữa thiết bị robot phần cứng ESP32 trên bàn làm việc, bộ não AI đám mây đa tầng (Jev Router, OpenAI, Gemini), khả năng điều khiển máy tính tự động và trí nhớ vĩnh viễn.

< 350ms Độ trễ Streaming STT & TTS
4 Tầng Phần cứng, Cloud, PC, Extension
100% Bảo mật & Chủ động quyết định
Mô hình Robot Trợ lý để bàn Aura AI
Aura Assistant ESP32 Đang lắng nghe người dùng...
ONLINE
🎮 Tương Tác Trực Tuyến

Mô Phỏng Trải Nghiệm Robot

Bấm thử các tình huống thực tế để chứng kiến cách robot tiếp nhận giọng nói, phân tích ý định qua bộ định tuyến Jev và phối hợp các công cụ.

ESP32-S3 OLED 19:42:10 WIFI: 98%
"Tôi đã sẵn sàng giúp bạn!"

Bấm thử câu lệnh tương tác:

ROBOT AI EVENT PIPELINE IDLE
✨ Năng Lực Toàn Diện

Tính Năng Cốt Lõi Vượt Trội

Được kiến trúc theo nguyên lý chia tách trách nhiệm rõ ràng, đảm bảo tốc độ phản hồi tức thì và sự an toàn tuyệt đối.

🎙️

Giao Tiếp Giọng Nói Thời Gian Thực

Streaming Audio 2 chiều qua WebSocket. Tích hợp mô hình Whisper và hệ thống phát hiện giọng nói (VAD) phần cứng, tự động phản hồi tự nhiên và hỗ trợ ngắt lời tức thì.

Streaming STT Local VAD Hi-Fi TTS
🧠

Bộ Não Quyết Định Jev & Multi-LLM

Hệ thống không phụ thuộc một LLM duy nhất. Tầng quyết định TypeSafe Jev phân loại ý định, chấm điểm rủi ro, điều phối linh hoạt giữa OpenAI GPT-4o và Google Gemini.

TypeSafe Jev Risk Analysis Model Router
💻

Điều Khiển Máy Tính & Trình Duyệt

Tiện ích Chrome Extension Robot Bridge tương tác trực tiếp trên phiên duyệt web đã đăng nhập sẵn của bạn. Không cần chia sẻ mật khẩu hay mở profile ẩn danh lạ.

Chrome Extension Computer Control OCR & Screen
💾

Hệ Thống Trí Nhớ Vĩnh Viễn Đa Tầng

Phân tách rõ ràng: Working Memory cho tác vụ hiện tại, Short-term cho phiên hội thoại, Semantic Memory cho sự kiện dài hạn và Episodic Memory lưu giữ ký ức cá nhân.

Episodic Memory Semantic Search Vector DB
🏡

Trung Tâm Nhà Thông Minh IoT

Robot tích hợp mắt phát hồng ngoại (IR Blaster) điều khiển TV, máy lạnh trực tiếp, kết nối MQTT nội bộ và đồng bộ chuẩn Home Assistant không cần qua cloud trung gian.

Home Assistant Local MQTT IR Transmitter
🔌

Giao Thức MCP & Công Cụ Tự Do Mở Rộng

Tuân thủ chuẩn Model Context Protocol (MCP) giúp robot dễ dàng cắm rút công cụ: đọc ghi tệp tin, tra cứu lịch Google Calendar, tìm kiếm dữ liệu web, gửi thông báo.

Model Context Protocol Google Calendar Sub-Agents
📐 Thiết Kế Kỹ Thuật

Kiến Trúc 4 Khối Độc Lập

Hệ thống phân tách rõ rệt giữa phần cứng tại nhà và hạ tầng AI điện toán đám mây để đảm bảo độ tin cậy và khả năng mở rộng.

☁️

1. AI Server Cloud Gateway

Jev Router, Memory, LLM Reasoning, Sub-Agents

🤖

2. Thiết Bị Robot ESP32

Wake Word, VAD, I2S Audio, Màn hình IPS cảm xúc

💻

3. Ứng Dụng Desktop Client

Điều khiển ứng dụng máy tính, theo dõi tiến trình

🧩

4. Chrome Bridge Extension

Thao tác trực tiếp trên phiên đăng nhập của người dùng

☁️ Cloud Backend Thư mục: server/

Trung Tâm Trí Tuệ AI Server Cloud

Chịu trách nhiệm tiếp nhận luồng âm thanh liên tục qua WebSocket, phân tích STT, chuyển giao cho bộ định tuyến Jev phân loại ý định và ủy quyền cho OpenAI/Gemini lập kế hoạch thực thi công cụ MCP.

FastAPI Realtime WebSocket Gateway
TypeSafe Jev Router (Intent, Risk, Route)
Multi-tier Memory (Working, Semantic, Episodic)
Model Context Protocol (MCP) Gateway
🛡️ An Toàn Là Tiên Quyết

Quyết Định Thông Minh, Phân Tầng Rủi Ro

Không để AI tự ý thực hiện các hành động nguy hiểm. Bộ định tuyến Jev tự động gán nhãn mức độ rủi ro (Risk Level) trước khi gọi bất kỳ công cụ nào và chủ động hỏi người dùng xác nhận nếu cần.

Rủi ro Thấp (Low Risk) Hỏi đáp thông tin, đọc tin tức, kiểm tra thời tiết, bật đèn
Tự Động Thực Hiện
Rủi ro Trung Bình (Medium Risk) Mở trình duyệt, tìm kiếm trên web, ghi nhớ lịch trình mới
Ghi Nhận & Báo Cáo
Rủi ro Cao (High Risk) Gửi email, chuyển khoản, chỉnh sửa file hệ thống, mua sắm
Yêu Cầu Xác Nhận
⚙️ Phần Cứng Tinh Gọn

Cấu Hình Thiết Bị Robot

Tối ưu hóa năng lượng và chi phí linh kiện, mang lại trải nghiệm hoàn thiện cao cấp trên bàn làm việc của bạn.

⚡
SoC Vi Xử Lý

ESP32-S3 Dual-Core

Tần số xung nhịp 240MHz, tích hợp tập lệnh Vector tăng tốc mạng nơ-ron nhận diện Wake-word.

🎤
Thu Âm Kỹ Thuật Số

Dual MEMS Mic Array

Kết nối chuẩn I2S, lọc nhiễu âm thanh phòng và nhận diện giọng nói trường xa lên đến 3 mét.

📺
Hiển Thị Đồ Họa

Màn Hình IPS / OLED

Hiển thị biểu cảm ánh mắt đa cảm xúc, biểu tượng trạng thái kết nối Wi-Fi và tiến trình tác vụ.

🔊
Âm Thanh Đầu Ra

Amp MAX98357A & HiFi

Bộ khuếch đại giải mã I2S công suất cao cho giọng nói ấm áp, rõ ràng và phát nhạc mượt mà.

🚀 Tương Lai Dự Án

Lộ Trình Phát Triển Sản Phẩm

Hành trình từ một hệ thống trợ lý giọng nói bàn làm việc đến người bạn đồng hành AI tự chủ trong cuộc sống.

GIAI ĐOẠN 1 • HIỆN TẠI

MVP Đa Nhiệm Server

  • Hoàn thiện luồng Streaming WebSocket
  • Bộ định tuyến ý định TypeSafe Jev
  • Tích hợp OpenAI GPT-4o & Gemini
  • ESP32 Wake Word & Loa Micro I2S
GIAI ĐOẠN 2 • TIẾP THEO

Tự Động Hóa PC & Web

  • Mở rộng Chrome Bridge Extension
  • Desktop Client kiểm soát phím chuột an toàn
  • OCR màn hình và đọc cấu trúc giao diện
  • Công cụ MCP cho Google Workspace
GIAI ĐOẠN 3

Nhận Thức Đa Phương Thức

  • Camera ESP32 theo dõi cử chỉ & nét mặt
  • Nhận diện người dùng theo khuôn mặt
  • Ký ức sự kiện cá nhân hóa sâu sắc
  • Điều khiển thiết bị gia dụng Matter/Zigbee
GIAI ĐOẠN 4

Trợ Lý Tự Chủ Toàn Diện

  • Chủ động đề xuất lịch trình hằng ngày
  • Tự học hỏi thói quen của người dùng
  • Cơ cấu xoay camera theo người nói
  • Đóng gói thiết bị thương mại hoàn chỉnh
❓ Thắc Mắc Thường Gặp

Câu Hỏi Phổ Biến

Mọi điều bạn cần biết về kiến trúc, bảo mật dữ liệu và cách hoạt động của robot trợ lý.

Robot có nghe lén khi tôi không nói chuyện không?

▼
Không. ESP32 xử lý Wake Word cục bộ ngay trên chip (Local Wake Word Detection). Âm thanh chỉ được stream lên AI Server khi bạn gọi từ khóa kích hoạt hoặc bấm nút vật lý.

Tại sao lại cần Chrome Extension Robot Bridge?

▼
Trình duyệt thông thường khi tự động hóa bằng Selenium hoặc Puppeteer yêu cầu mở cửa sổ riêng biệt và không có phiên đăng nhập của bạn. Chrome Bridge hoạt động trực tiếp trong tab hằng ngày của bạn, giữ nguyên thông tin đăng nhập Google, Facebook hay các dịch vụ quen thuộc.

Jev đóng vai trò gì mà không dùng trực tiếp GPT-4?

▼
Dùng một LLM lớn cho mọi tác vụ vừa chậm, đắt đỏ vừa khó kiểm soát an toàn. Jev là một bộ định tuyến gọn nhẹ, đưa ra cấu trúc quyết định định danh loại tác vụ, đánh giá độ tin cậy và cấp độ rủi ro trước khi gọi mô hình reasoning phù hợp.

Tôi có thể tự lắp ráp phần cứng ESP32 này không?

▼
Hoàn toàn có thể! Toàn bộ sơ đồ chân nối dây (pinout) và thông số kỹ thuật đều được chuẩn hóa theo các linh kiện ESP32 phổ biến, giúp việc chế tạo và tích hợp trở nên cực kỳ thuận tiện.
🌟 Hãy Bắt Đầu Ngay Hôm Nay

Sẵn sàng trải nghiệm tương lai của trợ lý cá nhân?

Đồng hành cùng công nghệ trợ lý ảo đa phương thức thế hệ mới, tối ưu hóa không gian làm việc và cuộc sống của bạn.

Trải Nghiệm Mô Phỏng Ngay Khám Phá Các Tính Năng