Microsoft ra mắt Copilot Vision: AI có thể “nhìn thấy” ứng dụng bạn đang dùng

Microsoft vừa chính Đây được xem là bước tiến quan trọng trong nỗ lực tích hợp trí tuệ nhân tạo sâu hơn vào trải nghiệm hệ điều hành.

Trợ lý AI có thể quan sát và hiểu ngữ cảnh công việc của bạn

Khác với các công cụ như Recall (tự động ghi lại ảnh chụp màn hình), Copilot Vision hoạt động hoàn toàn dựa trên quyền chia sẻ chủ động từ người dùng. Khi bật tính năng này thông qua biểu tượng hình kính 👓 trong ứng dụng Copilot trên Windows 10 hoặc 11, bạn có thể chọn chia sẻ một cửa sổ cụ thể chẳng hạn như trình duyệt, phần mềm chỉnh sửa ảnh hoặc tài liệu Word để Copilot “nhìn thấy” và hỗ trợ theo ngữ cảnh.

Theo nhóm phát triển Copilot, tính năng này giống như việc trang bị cho AI một cặp mắt thứ hai. Nó không chỉ giúp AI hiểu bạn đang làm gì mà còn có thể phân tích nội dung trực tiếp, giải thích các thành phần trên màn hình, hướng dẫn thao tác hoặc trả lời câu hỏi một cách thông minh và phù hợp hơn với tình huống thực tế.

Copilot Vision có thể mang lại giá trị lớn trong nhiều tình huống làm việc và học tập. Ví dụ, khi bạn đang sử dụng Adobe Photoshop, AI có thể chỉ vào từng công cụ cụ thể, giải thích chức năng và hướng dẫn cách sử dụng. Với bảng tính Excel hay tài liệu Word, AI có thể phân tích dữ liệu, gợi ý chỉnh sửa, định dạng hoặc hỗ trợ xử lý công thức. Khi truy cập website, Copilot có thể tóm tắt nội dung, dịch nhanh hoặc giúp bạn hiểu bố cục một cách rõ ràng hơn.

Đặc biệt, người dùng có thể đặt câu hỏi trực tiếp cho Copilot dựa trên nội dung đang hiện ra trên màn hình và nhận phản hồi chính xác vì AI đã được “xem” cùng bạn.

Điểm đáng chú ý là Copilot Vision hoàn toàn miễn phí và không yêu cầu đăng ký Copilot Pro. Hiện tại, tính năng này đang được triển khai cho người dùng tại Mỹ và vẫn thuộc dự án thử nghiệm trong khuôn khổ Copilot Labs nên có thể có sự thay đổi hoặc giới hạn tùy thời điểm.

Ngoài Windows, Copilot Vision cũng được đưa lên nền tảng iOS và Android, mở rộng khả năng tương tác thông minh trên các thiết bị di động. Điều này giúp người dùng làm việc liền mạch giữa các thiết bị mà vẫn có sự hỗ trợ trực tiếp từ AI.

Nguồn: The Verge