Gemini Live mở rộng chia sẻ màn hình và camera trên Pixel 9, Galaxy S25

Đây không chỉ là một bản cập nhật tính năng mà là bước nhảy chiến lược trong hành trình xây dựng một AI phổ quát có thể quan sát, phân tích và đưa ra phản hồi tức thì về cả thế giới số lẫn thế giới thực.

Từ AI giọng nói thành AI “thấy và hiểu”

Nếu trước đây người dùng chỉ có thể tương tác với Gemini thông qua giọng nói, văn bản, hình ảnh tĩnh hay video được tải lên, thì giờ đây Gemini Live có thể “thấy” chính xác những gì đang xảy ra trên màn hình và trước camera. Nhờ sự hỗ trợ từ Project Astra, nền tảng AI đa phương thức thế hệ mới của Google đã cho trải nghiệm trở nên gần như tương tác với một trợ lý thật sự ngồi bên cạnh.

Bạn có thể mở một trang web, cuộn đến nội dung cần hỏi, bật camera và nhờ Gemini đưa ra nhận định, giải thích hay gợi ý đều được dựa trên thời gian thực.

Việc chia sẻ màn hình mang đến một cấp độ tương tác hoàn toàn mới. Gemini Live giờ đây có thể hỗ trợ học tập, giải thích nội dung trên màn hình, gợi ý cách ghi chú thông minh. Hướng dẫn thao tác ứng dụng, từ cách sử dụng công cụ đến cài đặt hệ thống. Phân tích nội dung chuyên môn như tài liệu kỹ thuật, biểu đồ hoặc slide thuyết trình.

Giao diện được thiết kế lại gọn gàng với các nút “pill” tinh giản, đồng thời bổ sung hiệu ứng rung nhẹ để báo hiệu khi trợ lý sẵn sàng phản hồi. Thông báo dạng cuộc gọi ở góc trên trái giúp người dùng dễ dàng kiểm soát trạng thái hoạt động của Gemini Live.

Không chỉ là trợ lý trong thế giới số, Gemini Live giờ còn có khả năng quan sát thế giới thực nhờ tính năng chia sẻ camera sau (hoặc trước). Người dùng có thể hỏi thông tin về đồ vật, cảnh vật xung quanh. Phân tích văn bản thực tế như menu, hóa đơn, bảng hiệu. Học hỏi theo ngữ cảnh, ví dụ học ngoại ngữ bằng cách đi quanh nhà, hỏi tên đồ vật.

Google cũng lưu ý nên di chuyển thiết bị một cách nhẹ nhàng và giữ cho màn hình luôn bật để Gemini xử lý hình ảnh chính xác nhất.

Đứng sau những tính năng ấn tượng này là Project Astra, một trong những nền tảng AI đột phá được giới thiệu tại Google I/O 2024. Không chỉ xử lý giọng nói, Astra được thiết kế để hiểu môi trường xung quanh, ghi nhớ ngữ cảnh và phản hồi với tốc độ gần như tức thì. Với khả năng hoạt động cục bộ và kết hợp điện toán đám mây, Astra chính là "bộ não" giúp Gemini tiến gần đến một trợ lý AI toàn năng đúng nghĩa.

Hiện tại, tính năng chia sẻ màn hình và camera đã chính thức khả dụng trên Pixel 9 và Galaxy S25 thông qua bản cập nhật Gemini mới nhất. Đây là một phần của Pixel Feature Drop, chuỗi cập nhật định kỳ dành riêng cho người dùng điện thoại Pixel.

Trong thời gian tới, Google dự kiến sẽ mở rộng các tính năng này cho tất cả người dùng đăng ký gói Gemini Advanced (Google One AI Premium, giá 19.99 USD/tháng – khoảng 515.000 đồng) trên thiết bị Android, tạo tiền đề phổ cập AI đa phương thức đến đông đảo người dùng.