欢迎访问
集创频道 >> 科工集成 >> 人工智能有了“杀毒软件”可在线测评算法模型安全性

人工智能有了“杀毒软件”

可在线测评算法模型安全性

20200409  来源:人民网-科技频道(赵竹青)

 

电大规模的网络攻击曾经倒逼了杀毒软件的诞生,应用日渐广泛的人工智能,又该如何抵御“病毒”的攻击?记者从清华人工智能研究院获悉,该院RealAI(瑞莱智慧)创业团队8日推出针对算法模型本身安全的检测平台,意味着人工智能也有了“杀毒软件”。

人工智能发展的天然“软肋”

作为引领新一轮科技革命和产业变革的颠覆性技术,人工智能目前正在渗透到了社会生活的方方面面。随着数据泄漏、算法偏见、算法漏洞等一系列问题的暴露,其安全需求和伦理影响也逐渐显现,给国家经济和社会安全带来诸多风险和挑战。

RealAI团队CEO田天介绍,现阶段,由于人工智能技术不成熟以及恶意应用所导致的安全风险,本质上属于人工智能的“技术短板”,比如模型缺陷、算法不可解释性、数据强依赖性等,是限制人工智能发展最明显的“软肋”。

算法突破,是人工智能行业发展的基石和热点。中国信息通信研究院2018年发布的《人工智能安全白皮书》指出,“算法安全”是人工智能六大安全风险之一。同时,白皮书认为“对抗样本攻击诱使算法识别出现误判漏判”这一算法模型缺陷是算法安全的重要风险项。

“病毒”入侵或让AI“精神错乱”

“对抗样本原本是机器学习模型的一个有趣现象。”田天解释,它是通过在源数据上增加一些细微改变,人类感官很难辨识,但足以让机器学习模型接受并做出错误的分类决定,从而把一座山峰识别为一只狗,或者把C罗识别为梅西。

也就是说,这些对抗样本的攻击,会像病毒一样入侵人工智能系统的“意识”中,让它出现“精神错乱”而无法工作。

随着人工智能的普及,这些例子不断地在现实中上演:在路面上粘贴对抗样本贴纸模仿合并条带,误导自动驾驶汽车拐进逆行车道;佩戴对抗样本生成的眼镜,轻易破解手机面部解锁;胸前张贴对抗样本贴纸即可实现隐身……

尤其是在人脸识别、自动驾驶等特定领域,这种“AI病毒”可能造成难以挽回的人员和财产损失。

“杀毒软件”提升AI系统可靠性

“目前,人工智能安全还是一个新兴领域,存在较高的技术壁垒。”田天告诉记者,随着攻防相互的发展,对抗样本等攻击手段变得愈发复杂,尤其在开源社区、工具包的加持下,高级复杂攻击方法快速增长,但是相关防御手段的升级却难以跟上。

作为清华人学人工智能研究院的官方团队,RealAI曾率先提出多项攻防算法,被主流开源软件FoolBox等收录为标准,与清华联合组成的战队曾斩获多项人工智能国际大赛冠军。

团队开发的RealSafe人工智能安全平台,能够提供从测评到防御的完整解决方案,快速缓解对抗样本攻击威胁。相较于目前常见的开源工具需要自行部署、编写代码,该平台支持零编码在线测评,用户只需提供相应的数据即可在线完成评估,极大降低了算法评测的技术难度。同时,平台采用可量化的形式对安全性进行评估,评分越高则模型安全性越高。针对检测出来的漏洞,平台还可提供合适的防御方案,提升模型安全性。

“推出安全检测平台是规避风险的路径之一,未来还需要联合各界力量共同推动人工智能安全相关的国家标准、行业标准、联盟标准的制定,为人工智能产品安全评估评测提供统一参考。”田天说。


更新时间:2020-04-13 23:19:38
评论列表
评论/留言区
您好,请在下面输入您想发表的评论内容。
 
 
 
 
 
 
 
 
 
网络链接(KSN) 友好的连接联盟,让更多人知道你合作成功 大专院校 研究院所 产业公司 科技园区 协会事业 期刊网络 服务博览
本网域名: www.知识产品网.com,www.zhishichanpin.com,知识产品.中国,www.diwuchanye.com,第五产业.中国,集创.com,自版.中国,ipr品牌.中国,cnd5.cn,cnd5.net
友 情
链 接
     网站介绍     服务协议     联系我们