网络安全起点
RSS
热门关键字:  
当前位置 :| 首页 > 杀毒

数据投毒致人工智能失控 AI杀毒软件墟市尚为一片蓝海

来源:本站 作者: 时间:2020-05-07 09:27:34 点击:

  一辆正常行驶的自动驾驶汽车,突然驶入了逆行车道;胸前贴一款特殊贴纸□□,犹如披上隐形斗篷,在监控系统中成功遁形;戴上一幅特制眼镜,轻松骗过人脸识别系统后,用别人的手机也可实现刷脸解锁或刷脸支付……

  近日,清华大学人工智能研究院孵化企业推出了针对人工智能算法模型本身安全的RealSafe安全平台,据介绍□□,该平台可快速缓解对抗样本的攻击威胁。

  人工智能感染的是什么病毒?其安全问题有哪些特点?人工智能时代,杀毒软件如何修炼才能化作身怀绝技的病毒猎手□□□?

  RealSafe人工智能安全平台□□□,是针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台,包括模型安全测评、防御解决方案两大功能模块。平台内置AI对抗攻防算法,提供从安全测评到防御加固整体解决方案。

  北京理工大学计算机网络及对抗技术研究所所长闫怀志接受科技日报记者采访时表示□□□,上述平台目前侧重于模型和算法安全性检测与加固□□□□,可以说是人工智能算法的病毒查杀工具。

  闫怀志说,针对人工智能系统实施对抗样本攻击的这类恶意代码,常被称为“AI病毒”。对抗样本是指在数据集中通过故意添加细微的干扰所形成的输入样本,会导致模型以高置信度给出一个错误的输出。

  “其实在实验室中,使用对抗样本可以检测许多训练学习类人工智能方法的分类有效性,也可以利用对抗样本来进行对抗训练□□,以提升人工智能系统的分类有效性。”闫怀志告诉科技日报记者。也就是说,对抗样本可以看成是训练人工智能的一种手段。

  “但是在现实世界,攻击者可以利用对抗样本来实施针对AI系统的攻击和恶意侵扰□□,从而演变成令人头疼的‘AI病毒’。”闫怀志表示□□□,对抗样本攻击可逃避检测,例如在生物特征识别应用场景中,对抗样本攻击可欺骗基于人工智能技术的身份鉴别、活体检测系统。2019年4月□□□□,比利时鲁汶大学研究人员发现,借助一张设计的打印图案就可以避开人工智能视频监控系统。

  在现实世界中,很多AI系统在对抗样本攻击面前不堪一击。闫怀志介绍,一方面,这是由于AI系统重应用、轻安全的现象普遍存在,很多AI系统根本没有考虑对抗样本攻击问题;另一方面,虽然有些AI系统经过了对抗训练,但由于对抗样本不完备、AI算法欠成熟等诸多缺陷□□□,在对抗样本恶意攻击面前,也毫无招架之力。

  360公司董事长兼CEO周鸿祎曾表示,人工智能是大数据训练出来的,训练的数据可以被污染□□□,也叫“数据投毒”——通过在训练数据里加入伪装数据、恶意样本等破坏数据的完整性,进而导致训练的算法模型决策出现偏差。

  中国信息通信研究院安全研究所发布的《人工智能数据安全白皮书(2019年)》(以下简称白皮书)也提到了这一点。白皮书指出,人工智能自身面临的数据安全风险包括:训练数据污染导致人工智能决策错误;运行阶段的数据异常导致智能系统运行错误(如对抗样本攻击);模型窃取攻击对算法模型的数据进行逆向还原等。

  值得警惕的是,随着人工智能与实体经济深度融合,医疗、交通、金融等行业对于数据集建设的迫切需求,使得在训练样本环节发动网络攻击成为最直接有效的方法,潜在危害巨大。比如在军事领域,通过信息伪装的方式可诱导自主性武器启动或攻击,带来毁灭性风险。

  白皮书还提到,人工智能算法模型主要反映的是数据关联性和其特征统计□□□,没有真正获取数据之间的因果关系。所以,针对算法模型这一缺陷,对抗样本通过对数据输入样例,添加难以察觉的扰动,使算法模型输出错误结果。

  此外□□□□,模型窃取攻击也值得注意。由于算法模型在部署应用中需要将公共访问接口发布给用户使用,攻击者就可以通过公共访问接口对算法模型进行黑盒访问,并且在没有算法模型任何先验知识(训练数据、模型参数等)的情况下□□,构造出与目标模型相似度非常高的模型,实现对算法模型的窃取。

数据投毒致人工智能失控AI杀毒软件墟市尚为一片蓝海

  闫怀志在采访中表示□□□□,AI安全更突出功能安全问题(safety)□□,这通常是指人工智能系统被恶意数据(比如对抗样本数据)所欺骗,从而导致AI输出与预期不符乃至产生危害性的结果。“AI功能安全问题与传统的网络安全强调的保密性、完整性、可用性等信息安全问题(security),存在本质不同。”

  闫怀志表示,目前种种原因导致了预防人工智能“中毒”困难重重,原因具体表现在三个方面。

  一是很多AI研发者和用户并没有意识到AI病毒的巨大风险和危害,重视并解决AI病毒问题根本无从谈起;二是由于AI正处于高速发展阶段□□,很多AI研发者和生产商“萝卜快了不洗泥”,根本无暇顾及安全问题,导致带有先天安全缺陷的AI系统大量涌入应用市场;三是部分AI研发者和供应商虽然意识到了AI病毒问题□□□,但由于技术能力不足,针对该问题并无有效的解决办法。

  “当然,网络安全本来就是一个高度对抗、动态发展的领域,这也给杀毒软件领域开辟了一个蓝海市场,AI杀毒行业面临着重大的发展机遇。”闫怀志强调□□,杀毒软件行业首先应该具有防范AI病毒的意识,然后在软件技术和算法安全方面重视信息安全和功能安全问题。

  “以现实需求为牵引,以高新技术来推动,有可能将AI病毒查杀这个严峻挑战转变为杀毒软件行业发展的重大契机。”闫怀志强调□□□□,AI技术既会带来网络安全问题□□□□,也可以赋能网络安全。

  一方面□□,人工智能的广泛应用带来了许多安全风险。由技术性缺陷导致的AI算法安全风险□□,包括可导致AI系统被攻击者控制的信息安全问题;也可导致AI系统输出结果被攻击者任意控制的功能安全问题。

  但另一方面□□□□,人工智能技术也可以成为构筑网络空间安全的利器,这主要体现在主动防御、威胁分析、策略生成、态势感知、攻防对抗等诸多方面。“包括采用人工神经网络技术来检测入侵行为、蠕虫病毒等安全风险源;采用专家系统技术进行安全规划、安全运行中心管理等;此外,人工智能方法还有助于网络空间安全环境的治理□□,比如打击网络诈骗。”闫怀志说。

  中国信息通信研究院安全研究所的专家称,为有效管控人工智能安全风险并积极促进人工智能技术在安全领域应用,可从法规政策、标准规范、技术手段、安全评估、人才队伍、可控生态等方面构建人工智能安全管理体系。(代小佩)

  长征五号B运载火箭搭载新一代载人飞船试验船和柔性充气式货物返回舱试验舱发射成功。

  2020年5月5日,由中国航天科技集团一院抓总研制的长征五号B运载火箭在中国文昌航天发射场成功首飞,把近22吨重的新一代载人飞船试验船送入太空。长征五号B运载火箭能凭借一级半构型把重磅航天器送入太空,得益于采用了氢氧发动机的芯一级□□,能够与使用液氧煤油发动机的助推器合理搭配。

  近日,清华大学人工智能研究院孵化企业推出了针对人工智能算法模型本身安全的RealSafe安全平台□□□□,据介绍□□□□,该平台可快速缓解对抗样本的攻击威胁。闫怀志说□□□,针对人工智能系统实施对抗样本攻击的这类恶意代码,常被称为“AI病毒”。

  世界卫生组织(WHO)近日发布的最新声明称□□,没有证据显示感染新冠病毒康复后并拥有抗体的人群可避免二次感染。“目前的抗体检测试剂盒可以检测出病人体内是否有抗体存在,但还难以判断是特异性中和抗体还是非特异性抗体。

  为了提升这些药剂的防治速度和效果□□,科研人员借助航天诱变、基因工程、分子育种等技术,来提高它们应对蝗虫的毒力。张泽华告诉记者,以微生物防治蝗虫为例□□,2000年之前,我国草原蝗虫年均发生面积超过3亿亩□□□,采用绿僵菌等生物防治措施以后,现阶段我国草原蝗虫年均发生面积控制在1.2亿亩以内。

  持续存在的Cas13核酸酶活性可能导致不可预测脱靶□□□□,阻碍了基因编缉技术CRISPR的推广应用。蒋建新介绍,这一发现将使Cas13a RNA编缉器的临床应用更加广泛,编缉更加精确□□□,副作用更少。

  2020年5月5日,长征五号B运载火箭在中国文昌航天发射场首飞成功,揭开了我国载人航天空间站建设的大幕。未来的空间站交会对接任务,对长征五号B运载火箭也提出了“零窗口”发射需求,发射时间精度误差要控制在1秒以内。

  5日下午,2019年度全国十大考古新发现评选结果在线揭晓。”国家文物局副局长宋新潮表示,国家文物局将继续指导、协调各考古单位加强学术科研□□□□,以考古实证中国5000多年文明发展历程,科学地揭示中华文明历史文化价值和核心特质□□□,坚定中华民族的文化自信。

数据投毒致人工智能失控AI杀毒软件墟市尚为一片蓝海

  5月5日下午□□□□,广东虎门大桥悬索桥桥面晃动比较大□□□□,振幅较为明显□□□□,对行车造成不舒适感。周江认为,悬索桥是以主缆为主承力结构、加劲梁通过吊索“吊挂”在主缆上的一种桥型。据虎门大桥桥梁专业人员介绍□□□□,桥梁遇到特殊风况会晃动是正常的,一般遇到旋涡风桥面晃动比较大。

  5日下午,广东虎门大桥发生异常抖动□□□,不少过往群众表示整个大桥像波浪一样“起起伏伏”地摇晃□□□□,引发热议。虎门大桥是广深珠高速公路网的主要组成部分,连接珠江两岸,沟通深圳、珠海等重要城市□□,是广东沿海地区的重要交通枢纽。

  2013年□□,数值预报创新团队入选科技部“创新人才推进计划重点领域创新团队”□□,这是我国气象领域首批入选的国家级科技创新团队。2014年,高分辨率资料同化与数值天气模式被确定为国家气象科技创新工程三大攻关任务之一,自主创新的脚步不断加快。

  邬贺铨院士:5G发力“新基建”的线日□□□,由未来移动通信论坛主办的5G和网络发展战略研讨会在线G作为‘新基建’的首选,被赋予应对疫情带来的经济下行压力和为经济高质量可持续发展提供新引擎的重任。

  美国西北大学研究人员正在使用人工智能(AI)来加快新冠肺炎治疗药物和疫苗的研究。长期以来□□□□,美国科学界一直在使用国防部高级研究计划局的公开研究和证据系统化置信系统(DARPA SCORE)进行项目评估□□□□,以获得所需的结果。

  记者从中国科大附一院(安徽省立医院)了解到,该院呼吸与危重症医学专家徐晓玲教授与中国科大生命科学与医学部魏海明教授团队合作研究发现,托珠单抗能改善重症COVID-19患者的临床症状,是救治新冠肺炎重症患者的有效方法。

  5日18时00分,长征五号B运载火箭从中国文昌航天发射场成功发射升空,记者从中国卫星海上测控部获悉,远在太平洋的远望5号船顺利接过陆上测控接力棒,精准高效地完成了海上测控任务□□□,为任务成功保驾护航。

  记者日前从中国科学技术大学获悉□□,该校俞书宏院士团队成功研制了一类天然纳米纤维素高性能结构材料,其密度仅为钢的六分之一□□□,而比强度、比韧性均超过传统合金材料、陶瓷和工程塑料。

  本庶佑在声明中强调□□,现在是所有人,特别是在科研最前线的人们同仇敌忾,与疾病这个全人类共同的敌人战斗的时候,大家为保护生命而努力,不容片刻耽延□□□,“而在此时,像这类对疾病起源毫无根据的说法是极其危险和灾难性的”。

  世卫组织卫生紧急项目执行主任迈克尔·瑞安当天在记者会上说□□,该组织多次听取数位仔细研究过新冠病毒基因序列和病毒本身的专家的意见,确定新冠病毒源自自然界。

  美国科学家团队认为,肺炎球菌和轮状病毒会引起呼吸道疾病和腹泻,针对这两种疫苗,扩大或引入其接种项目有望减少中低收入国家儿童对抗生素的使用

  29日,记者从北京市气象局获悉,“五一”假期北京天气接近或突破历史同期极值。

最新评论共有 位网友发表了评论
评论内容:不能超过250字,需审核,请自觉遵守互联网相关政策法规。
验证码:
匿名?