Tóm tắt nhanh
- Mô hình AI chạy trên thiết bị phù hợp với việc nhỏ như sửa câu, rút gọn đoạn văn hoặc giải thích khái niệm cơ bản.
- Google AI Edge Gallery hỗ trợ Android và iOS, cho phép thử Gemma cùng các mô hình mở ngay trên điện thoại.
- AI cục bộ không thay thế mô hình đám mây ở tác vụ cần nghiên cứu web hay suy luận phức tạp; cách hợp lý là chia việc theo độ khó.
Không phải câu hỏi hay đoạn văn nào cũng cần gửi lên ChatGPT, Claude hoặc Gemini. Với những việc như sửa ngữ pháp, viết lại email hay hỏi nghĩa một thuật ngữ, mô hình nhỏ chạy ngay trên thiết bị có thể đáp ứng đủ, đồng thời không tiêu tốn lượt dùng của dịch vụ đám mây.
Việc đơn giản đang tiêu tốn lượt dùng của mô hình lớn
Người dùng có thể trả 20 USD, thậm chí 100 USD mỗi tháng cho dịch vụ AI mà vẫn gặp giới hạn sử dụng. Vì vậy, dùng một mô hình mạnh để chỉnh một câu vụng về hoặc rút gọn một đoạn văn là cách phân bổ tài nguyên chưa hợp lý: tác vụ không cần tra cứu mới hay lập luận nhiều bước nhưng vẫn chiếm quota như những yêu cầu khó hơn.
Các việc thường ngày có thể tách khỏi nhóm cần năng lực đám mây: sửa lỗi ngữ pháp, đổi giọng một email, giải thích nhanh một khái niệm, hoặc tóm tắt nội dung ngắn. Chúng có đầu vào nhỏ, tiêu chí đầu ra rõ và người dùng dễ kiểm tra kết quả. Đây là điểm khiến mô hình gọn nhẹ có lợi thế thực tế, chứ không phải vì nó ngang sức với các mô hình lớn.
Gemma có thể xử lý việc nhỏ ngay trên điện thoại và máy tính
Một công cụ tự đặt tên mô tả cho ảnh chụp màn hình trên macOS đã được chuyển từ skill chạy qua Claude sang script dùng Gemma cục bộ. Chiếc MacBook chạy nó chỉ có 8 GB RAM, nên mô hình này chủ yếu đảm nhiệm các thao tác gọn thay vì công việc đòi hỏi suy luận nặng. Trường hợp đó cho thấy máy phổ thông vẫn có thể dùng AI cục bộ nếu giới hạn đúng loại việc và chọn mô hình phù hợp.
Trên di động, Google AI Edge Gallery đã có mặt trên cả Android lẫn iOS. Ứng dụng cho phép chạy Gemma và các mô hình có trọng số mở trực tiếp trên thiết bị; khi mô hình đã được tải xuống, các tác vụ phù hợp có thể thực hiện mà không cần kết nối mạng. Điều này hữu ích khi cần xử lý nội dung riêng tư hoặc muốn tiếp tục dùng một trợ lý cơ bản ở nơi mạng chập chờn, dù chạy cục bộ không tự động bảo đảm mọi dữ liệu đều an toàn nếu ứng dụng khác vẫn có quyền truy cập.
Google giới thiệu FunctionGemma với 270 triệu tham số cho các thao tác gọi chức năng trên thiết bị. Trong thử nghiệm Google công bố bằng AI Edge Gallery và LiteRT trên Pixel 7 Pro, mô hình đạt 1.916 token/giây ở bước prefill và 142 token/giây ở bước decode. Đây là số liệu trong điều kiện thử nghiệm cụ thể của Google, không phải cam kết tốc độ áp dụng cho mọi điện thoại hay mọi mô hình.
Chia việc theo độ khó thực tế hơn là bỏ hẳn AI đám mây
Mô hình cục bộ hợp với việc có phạm vi hẹp: viết lại một câu, tóm tắt đoạn ngắn, giải thích một từ hoặc chuyển một lệnh tự nhiên thành thao tác trên thiết bị. Ngược lại, câu hỏi cần thông tin mới trên web, phân tích tài liệu dài hay suy luận nhiều bước vẫn là phần việc phù hợp hơn với dịch vụ đám mây. Mô hình nhỏ có thể trả lời tự tin nhưng sai, nên những việc liên quan đến quyết định quan trọng vẫn cần kiểm tra nguồn.
Với người dùng Việt Nam, Google AI Edge Gallery là một cách dễ thử hơn so với tự cài mô hình qua dòng lệnh. Tuy nhiên, trải nghiệm phụ thuộc vào thiết bị, dung lượng bộ nhớ và mô hình đã tải; một ứng dụng có sẵn không đồng nghĩa mọi điện thoại sẽ chạy nhanh như nhau. Chia việc giữa local và cloud cũng không loại bỏ chi phí hoàn toàn: máy vẫn dùng pin, bộ nhớ và tài nguyên xử lý.
Cách dùng hợp lý không phải chọn một bên duy nhất. Hãy để mô hình cục bộ xử lý các yêu cầu lặp lại, ít rủi ro và dễ kiểm chứng; giữ lượt dùng đám mây cho việc cần năng lực lập luận hoặc dữ liệu mới. Ranh giới đó giúp người dùng nhận ra lúc nào cần mô hình lớn, thay vì mặc định đưa mọi thao tác nhỏ lên chatbot.
Nguồn tham khảo: XDA Developers; Google for Developers
