向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
“开局就是决战!”多地“新春第一会”拼经济******
中新网1月30日电(中新财经记者 左宇坤 石睿)“开局就是决战、起步就要冲刺”“开年就是开工,开工就要实干”“全力以赴冲刺开门红、决胜全年红”,农历新年后的首个工作日,多地已紧锣密鼓召开“新春第一会”、明确“一号工程”……力求在2023年的经济发展中勇夺先机。
1月28日召开的国务院常务会议要求,推动消费加快恢复和保持外贸外资稳定,增强对经济的拉动力。在促进经济稳步回升的积极信号下,各地除了重申经济发展目标,还从促消费、稳外贸等多方面进行了积极部署,优化营商环境也成为了不约而同的开年任务。
资料图。 李和平 摄下决心,“一把手”开工鼓干劲
28日,中国GDP第一大省广东省委、省政府召开全省“高质量发展大会”,省内各地级及以上市的市委书记、部分省级职能部门“一把手”立下“军令状”。
广州市委书记林克庆表示,广州市计划2023年GDP突破3万亿元,增长6%以上,投资、消费、进出口要实现“三个1万亿”的目标;深圳市委书记孟凡利表示,2022年深圳GDP同比增长3.3%,增速领跑四大一线城市。
“经济发展不可能继续拼土地、拼价格、拼劳动力,唯有通过高质量发展实现‘突围’。” 在广东省委书记黄坤明看来,“如果广东是慢步或者原地踏步,不敢迎难而上,不愿放开手脚大干一场,我们心里应当感到不安。”“扎扎实实抓好今年,抓好5年,再深耕10年、30年,必定能再造一个新广东、再创让世界刮目相看的新奇迹。”
同样由“一把手”在开工第一天鼓干劲、定目标的地方还有很多。
北京市委书记尹力在春节后首个工作日前往海淀区调研,要求2023年要推动经济运行整体好转,力争一季度经济社会发展“开门红”,推动高质量发展取得新成效。尹力强调,要把恢复和扩大消费摆在优先位置,充分发挥投资的关键性作用,持续释放市场主体活力等。
上海市委书记陈吉宁在春节后第一个工作日到上海自贸试验区察看,他要求,对标国际最高标准、最好水平,加强主动谋划和系统设计,深化集成性改革和制度型开放,找差距、强弱项、拉长板,尽快形成自贸区新一轮建设行动方案,打造新时代改革开放新高地。
1月28日早高峰时段,北京市民出行。当日是癸卯兔年的首个工作日。 中新社记者 易海菲 摄定目标,全年工作“划重点”
鼓足干劲后,多地也将自己的“开年重磅大戏”提上议程。
春节后上班第一天,重庆市建设成渝地区双城经济圈工作推进大会召开,明确提出把双城经济圈建设作为重庆“一号工程”和全市工作总抓手总牵引。
重庆市委书记袁家军强调,要聚焦“两中心两高地”战略定位,以建成高质量发展高品质生活新范例为统领,争当西部地区高质量发展排头兵,打造具有全国影响力的科技创新基地,勇当内陆省份改革开放探路先锋。
同样提出了“一号工程”的还有浙江,且一下提出了三项。“开年第一会”上,浙江官方明确,今年将更大力度实施数字经济创新提质“一号发展工程”,实现营商环境优化提升“一号改革工程”大突破,实施“地瓜经济”提升能级“一号开放工程”。
陕西则提出了“三个年”活动。28日,陕西省委、省政府召开全省开展高质量项目推进年、营商环境突破年、干部作风能力提升年“三个年”活动动员会。
陕西省委书记赵一德强调,全省各级各部门要把开展“三个年”活动作为一以贯之推动工作落实的重要抓手,作为扭住要害补齐短板弱项的关键之举,作为纲举目张提振预期信心的战略考量。
资料图:厦门港海沧集装箱码头。中新社记者 王东明 摄明部署,吹响优化营商环境新号角
作为全国经济中心城市的上海,在农历新年后的首个工作日召开了2023年全市优化营商环境建设大会,不难看出优化营商环境对经济高质量发展的重要助力作用。
上海市委书记陈吉宁在会上强调,优化营商环境对于开好局、起好步意义重大。要充分认识新征程上优化营商环境是落实国家战略任务的重要内容,是提升国际核心竞争力的内在需要,是当前稳预期、强信心的关键举措。
多地不约而同将优化营商环境作为新一年的重要“功课”。
河南省委书记楼阳生强调,要把打造市场化、法治化、国际化的一流营商环境作为全局性战略性工程,按照审批最少、流程最优、体制最顺、机制最活、效率最高、服务最好的要求,系统性重塑行政审批制度,推进要素市场化配置改革,强化企业全生命周期服务,让国企敢干、民企敢闯、外企敢投。
河北省委书记、省人大常委会主任倪岳峰在河北省优化营商环境企业家座谈会上提出,严格落实对国企民企平等对待的要求,在政策、资源、技术、服务等方面一视同仁,切实抓好国家和省稳经济一揽子政策末端落实,着力帮助企业纾难解困、加快发展,鼓励民营企业积极投入到推进中国式现代化河北场景落地见效的火热实践中来。
吉林省委、省政府同样召开了全省优化营商环境加快项目建设大会。吉林省委副书记、省长韩俊强调,坚持把营商环境建设作为头等大事,营造人人重视营商环境、人人都是营商环境、时时处处都讲营商环境的良好生态,进一步提振市场信心,推动吉林全面振兴不断取得新突破。(完)
中国网客户端 国家重点新闻网站,9语种权威发布 |