您现在的位置是:苹果开发出新款AI:能"看懂"屏幕上内容并用语音回复 >>正文
苹果开发出新款AI:能"看懂"屏幕上内容并用语音回复
亿美图72人已围观
简介苹果公司的研究团队最近发表了一篇论文,宣布他们成功开发出了一款创新的人工智能系统。这个系统能够准确地理解屏幕上模糊的内容及其相关对话和背景环境,进而实现与语音助手更加自然的互动。这个系统被命名为ReA...
苹果公司的研究团队最近发表了一篇论文,宣布他们成功开发出了一款创新的人工智能系统。这个系统能够准确地理解屏幕上模糊的内容及其相关对话和背景环境,进而实现与语音助手更加自然的互动。
这个系统被命名为ReALM(Reference Resolution As Language Modeling,即以语言建模为基础的参考解析),它通过大语言模型的运用,将理解屏幕视觉元素指向的复杂任务转化为一个纯粹的语言问题。这一转换使得ReALM在性能上相较于现有技术有了显著的提升。
苹果研究团队强调:“让对话助手能够理解上下文,包括相关的内容指向,非常关键。能让用户根据他们所看到的屏幕内容进行提问,是确保真正实现语音操作体验的重要一步。”
增强对话助手的能力
ReALM的一大创新在于它能够重新构建屏幕内容,即通过分析屏幕上的信息及其位置信息来生成文本表示,这一点对捕捉视觉布局至关重要。研究人员展示了这种方法与专为内容指向调整的语言模型结合起来,能在执行相关任务时超越GPT-4的性能。
研究人员表示:“我们对现有系统进行了显著改进,在处理多种类型的内容指向时均展现出卓越性能。我们的最小模型就实现了超过5%的性能提升,而大型模型的表现则明显超过了GPT-4。”
实际应用与局限性
这项研究凸显了专注于语言模型在处理如内容指向解析等任务上的巨大潜力。由于响应时间或计算资源的限制,大型端到端模型往往难以实施。通过这项创新性研究,苹果展现了其持续投入,使Siri等产品在对话和理解上下文方面更加出色。
尽管如此,研究人员也指出,依靠自动化解析屏幕内容仍然面临挑战。在处理更复杂的视觉内容,比如区分多个相似图像时,可能需要结合计算机视觉和多模态技术。
努力缩小与AI竞争对手差距
虽然在人工智能领域苹果曾稍显落后,但它正在默默取得显著进展。从融合视觉与语言的多模态模型,到开发AI驱动的动画工具,再到构建高性能的专业AI技术,苹果的研究实验室持续实现技术突破。
面对谷歌、微软、亚马逊和OpenAI等公司的激烈竞争——这些公司已在搜索、办公软件、云服务等领域推出了先进的AI产品——作为一个以保密闻名的科技巨头,苹果正努力不落人后。
长期以来,苹果更多在创新领域扮演跟随者而不是领先者的角色,现在正面临着一个由人工智能快速改变的市场。在6月举办的全球开发者大会上,苹果预计将推出新的大语言模型框架、“Apple GPT”聊天机器人及其生态系统中的其他AI功能。
“我们很高兴今年晚些时候分享我们在人工智能方面的工作进展,”首席执行官蒂姆·库克(Tim Cook)最近在一次盈利电话会议上暗示。尽管苹果向来低调,但其在AI领域的广泛努力已经引起了业界的广泛关注。
然而,在日益激烈的人工智能领域竞争中,苹果的相对滞后使其处于不利地位。但凭借其雄厚的资金实力、品牌忠诚度、一流的工程师团队和紧密整合的产品线,苹果仍有机会扭转局面。
Tags:
相关文章
乔纳森·诺兰沉迷《辐射3》 导致《黑暗骑士崛起》被推迟
苹果开发出新款AI:能"看懂"屏幕上内容并用语音回复喜欢蝙蝠侠的朋友们可能都知道《黑暗骑士》系列的导演是克里斯托弗·诺兰,这位著名导演在国内有着许多的影迷,最近甚至因为《奥本海默》获得了多项奥斯卡奖,并被英国皇室授予英爵位。但他的弟弟乔纳森·诺兰不仅是...
阅读更多
外交部对漫画家鸟山明去世表示哀悼 成龙发博哀悼
苹果开发出新款AI:能"看懂"屏幕上内容并用语音回复人民日报今日(3月8日)消息,记者崔琦编辑,外交部例行记者会。有外媒提问:日本漫画家鸟山明因病去世,他所著的漫画《龙珠》以中国名著《西游记》为背景。请问外交部对此有何回应?发言人毛宁表示:我们对鸟山明...
阅读更多
《寄生虫》导演奉俊昊新片《米奇17号》幕后公布预告 罗伯特·帕丁森主演
苹果开发出新款AI:能"看懂"屏幕上内容并用语音回复《寄生虫》韩国导演奉俊昊最近在 CinemaCon 上播出了他的最新电影《米奇17号》,这部科幻作品将由新的蝙蝠侠,罗伯特·帕丁森主演。这部预告目前尚未向公众公开。据称,在预告中罗伯特·帕丁森饰演的主...
阅读更多