Gemini Live 推出为无障碍设计的 Guided Vision 视觉辅助功能
原题:Guided Vision in Gemini Live: built for accessibility
内容导读
Guided Vision 可在 Gemini Live 中提供实时对话式视觉辅助,帮助盲人、低视力用户等通过摄像头获取环境描述、追问细节和语音提示;Google 提醒它不能替代导航工具。

全文阅读
来源:Google即会翻译
Guided Vision 与盲人及低视力社群共同开发,能在 Gemini Live 中提供实时、对话式视觉辅助。用户分享摄像头画面后,可以听到动态语音描述,并通过自然语言提示调整取景,以探索周围环境。
Isha Sheth|Gemini Live 高级产品经理
Scott Adams|Google 无障碍工程高级产品经理
今天,我们开始在兼容的 Android 设备上推出 Gemini Live 的 Guided Vision 功能,为盲人、低视力用户以及需要直观视觉辅助的人提供以语音为主的实时视觉解读。
技术最有价值之处,是让每个人都能更好地探索世界。Guided Vision 让 Gemini 成为一个对话式视觉伙伴,并通过与无障碍社群密切合作开发而成。本月早些时候,我们曾将它与其他扩大 Android 数字和实体无障碍体验的工具一同预览。
为了训练 Gemini Live 理解对话和真实环境,我们与 Aira 合作,对数万小时的视觉数据进行解读。Aira 的 Trusted Tester 网络中有 1000 多名成员帮助我们在日常情境中压力测试和改进模型;Aira 专家也作为领域顾问直接参与团队工作,协助制定并评估安全防护措施。
现在,用户只需在 Gemini Live 会话中分享摄像头,就能听到对周围环境的清晰描述、提出详细的后续问题,并收到主动语音提示,帮助镜头对准想要探索的对象。
为真实视觉体验设计的实时辅助
在 Gemini Live 中开启 Guided Vision 并分享摄像头后,Gemini 会像对话伙伴一样提供帮助。如果镜头指得太高、太近或偏向一侧,Gemini 会用自然的语音提示协助重新取景,例如让用户慢慢向右平移、向下倾斜,或稍微后退,以便获得清晰的视觉上下文并回答问题。
让日常小事更容易完成
无论是找东西、准备一顿饭,还是搭配衣服,凡是需要快速视觉确认的日常任务,Guided Vision 都可以提供帮助:
• 阅读小字和复杂文本:读取食品包装上的小号营养标签、辨认家电旋钮和洗衣机程序,或阅读光线昏暗的餐厅菜单。
• 查找和定位物品:在身边寻找日常用品,例如找到掉在地上的耳机,或在拥挤的香料柜里定位黑胡椒。
• 描述物品并比对细节:询问颜色、图案和形状,例如确认条纹衬衫是否与某条裤子相配,或辨认某件夹克的颜色。
• 探索周围环境:获取陌生空间、房间布局或桌面物品分布的描述性概览。
• 用自己偏好的语言自然交流:Guided Vision 支持多种语言。团队根据印度、巴西、新加坡、印度尼西亚、日本等地盲人和低视力社群的测试与反馈,改进描述、取景提示和回答,使其更自然、更有帮助。
与许多无障碍创新一样,Guided Vision 也能为老年人、识字能力有限的人,或任何在光线不足时阅读小字的人提供实用视觉辅助。
在 Android 上快速启用
Guided Vision 旨在以尽可能少的操作融入日常生活:
• Gemini 应用:打开 Gemini 移动应用的个人资料设置,在 Live 中开启“使用 Guided Vision”;之后启动 Gemini Live 并点击分享摄像头。
• 无障碍快捷方式:在 Android 设置 > 无障碍 > 视觉辅助 > Guided Vision 中配置快捷方式。用户可以通过悬浮无障碍按钮、双指滑动,或同时按下两个音量键启动。
• TalkBack 集成:使用 Google TalkBack 的用户可以三指轻点打开 TalkBack 菜单,然后直接选择 Guided Vision。
和任何生成式 AI 技术一样,Guided Vision 是辅助工具,也可能出错。它不是医疗设备、行动辅助工具或白手杖的替代品,不适用于导航、安全出行指导或障碍物检测。用户在真实环境中仍应依赖既有的行动辅助工具和安全出行习惯。
Guided Vision 现已在支持 Gemini Live 的地区和语言中,面向运行 Android 9 及以上版本的设备开放。开始使用前,请将 Gemini 应用和 Android 系统软件更新至最新版本。
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。