Phần mềm

Google ra mắt Guided Vision trên Gemini Live: Hỗ trợ thị giác và chỉ dẫn góc camera theo thời gian thực

Tính năng Guided Vision trong Gemini Live biến camera điện thoại thành công cụ trợ thính và thị giác hai chiều, chủ động nhắc người dùng lia máy hoặc lùi lại để nhận diện sự vật chính xác.

Tóm tắt nhanh

  • Google phát hành tính năng Guided Vision cho Gemini Live trên các thiết bị chạy từ Android 9 trở lên tại những khu vực có hỗ trợ dịch vụ.
  • Hệ thống tạo vòng lặp phản hồi âm thanh trực tiếp: nhắc người dùng lia máy sang phải, hạ thấp góc quay hoặc bước lùi lại khi camera chưa bắt trọn vật thể.
  • Tính năng được phát triển cùng dịch vụ trợ năng Aira với hơn 1.000 chuyên gia kiểm thử và hàng chục nghìn giờ dữ liệu thị giác thực tế.
  • Người dùng có thể kích hoạt nhanh từ ứng dụng Gemini, trình đơn Trợ năng hoặc chạm 3 ngón tay trên Google TalkBack.

Guided Vision hoạt động như thế nào trong tình huống thực tế?

Hình ảnh giới thiệu tính năng Guided Vision trong Gemini Live
Giao diện tính năng Guided Vision trên Gemini Live hướng tới hỗ trợ thị giác cho người dùng qua camera thời gian thực.

Phần lớn các tính năng nhận diện hình ảnh trên điện thoại trước đây đều dựa vào thao tác tĩnh: người dùng đưa camera lên, bấm chụp rồi chờ AI phân tích khung hình đó. Với người khiếm thị hoặc thị lực kém, rào cản lớn nhất nằm ở chỗ họ không thể biết liệu vật thể cần quan sát đã nằm đúng trọng tâm ống kính hay chưa.

Guided Vision trên Gemini Live tiếp cận bài toán này bằng luồng tương tác thoại liên tục qua camera mở sẵn. Khi người dùng hướng máy về phía trước, hệ thống phân tích hình ảnh theo thời gian thực và đóng vai trò như một người quan sát đối thoại. Nếu góc quay bị lệch, quá gần hoặc hướng quá cao, Gemini sẽ phát âm báo và hướng dẫn bằng giọng nói, chẳng hạn như yêu cầu người dùng lia máy từ từ sang phải, nghiêng điện thoại xuống hay lùi lại một bước để lấy đủ bối cảnh.

Khả năng giao tiếp hai chiều này giải quyết nhiều nhu cầu kiểm tra hình ảnh hằng ngày:

  • Đọc chữ nhỏ và thông tin bao bì: Hỗ trợ đọc nhãn dinh dưỡng, thành phần in nhỏ trên hộp thực phẩm, các vạch số trên núm xoay máy giặt hoặc thực đơn trong không gian thiếu sáng.
  • Tìm kiếm đồ đạc thất lạc: Dò tìm tai nghe không dây rơi trên sàn nhà hay xác định vị trí lọ gia vị nằm lẫn trong ngăn tủ bếp.
  • Nhận diện chi tiết và màu sắc: Mô tả hoa văn, họa tiết áo quần để phối đồ hoặc kiểm tra màu sắc món đồ trước khi sử dụng.
  • Khám phá không gian lạ: Cung cấp cái nhìn tổng quan về bố cục phòng khách sạn, đồ vật trên bàn ăn hoặc lối đi xung quanh.

Phát triển cùng mạng lưới Aira và các giới hạn an toàn cần lưu ý

Để xây dựng bộ hướng dẫn điều hướng camera chuẩn xác, Google đã hợp tác với tổ chức dịch vụ trợ năng Aira. Quá trình hoàn thiện tính năng có sự tham gia của hơn 1.000 thành viên thuộc mạng lưới Trusted Tester, trải qua hàng chục nghìn giờ thử nghiệm trong các tình huống sinh hoạt thực tế nhằm tinh chỉnh khả năng diễn giải cũng như lập rào chắn an toàn.

Google cũng đưa ra khuyến cáo rõ ràng: Guided Vision là công cụ hỗ trợ dựa trên mô hình AI tạo sinh, do đó vẫn có thể xảy ra sai số. Tính năng này không phải thiết bị y tế hay công cụ dẫn đường chuyên dụng, không được thiết kế để phát hiện vật cản ngoài đường và hoàn toàn không thể thay thế gậy dò đường hay các thiết bị hỗ trợ di chuyển truyền thống.

Khả năng tiếp cận trên thiết bị Android và trải nghiệm tại Việt Nam

Khác với những tính năng thị giác đòi hỏi phần cứng thế hệ mới nhất, Guided Vision tương thích với các thiết bị chạy Android 9 trở lên ở các thị trường hỗ trợ Gemini Live. Việc đưa tính năng này xuống các đời máy cũ giúp người dùng phổ thông tiếp cận công nghệ trợ năng mà không nhất thiết phải nâng cấp lên những dòng máy đắt tiền.

Người dùng có thể kích hoạt tính năng qua ba phương thức:

  • Trong ứng dụng Gemini: Vào cài đặt trang cá nhân, bật tùy chọn Guided Vision in Live, sau đó mở phiên trò chuyện Gemini Live và bật chia sẻ camera.
  • Phím tắt trợ năng: Thiết lập trong Cài đặt hệ thống > Trợ năng > Hỗ trợ thị giác > Guided Vision để mở nhanh bằng nút nổi, vuốt hai ngón tay hoặc giữ đồng thời hai phím âm lượng.
  • Google TalkBack: Chạm ba ngón tay lên màn hình để mở menu TalkBack và chọn trực tiếp Guided Vision.

Tại Việt Nam, Gemini Live đã hỗ trợ giao tiếp đa ngôn ngữ, bao gồm cả tiếng Việt. Khi hệ thống cập nhật hoàn tất trên kho ứng dụng Google Play, người dùng có thể tận dụng Guided Vision để đọc thông tin tiếng Việt trên nhãn hàng hóa tiêu dùng, kiểm tra hạn sử dụng thực phẩm hay quản lý thiết bị gia dụng trong gia đình một cách thuận tiện hơn.

Nguồn tham khảo: Google Blog

Bài viết mới nhất