机器学习算法进入深网和暗网,锁定零日漏洞

2016-08-10 10:31:47     作者:亚萌      来源:雷锋网

亚利桑那州立大学的一个研究团队,利用机器学习来研究深网和暗网里的黑客论坛和交易市场,追踪最新的漏洞线索。

漏洞也分三六九等,理论上有一些漏洞并不足以让攻击者去威胁你的系统,但是有一些漏洞,比如“零日漏洞”(Zero-day Exploit)就具有巨大的破坏力。有些人依靠这样的漏洞,开发出恶意软件,侵入人们的计算机系统,窃取重要的信息,这是如今网络安全中最大的威胁之一。

发现漏洞,并阻止恶意软件的产生,是网络安全专家重要的工作。如今,亚利桑那州立大学的一个研究团队,开发出一套机器学习算法,帮助监测和识别这些在黑市中交易的漏洞。

一个恶意软件的诞生

2015年2月,微软发现了Windows操作系统中一个严重的漏洞,这可能会让黑客远程操控目标计算机。该漏洞影响范围巨大,包括了Vista、Win7、Win8及其他服务器系统。

微软随后立即发布了补丁,但是漏洞的细节很快在整个黑客社区传播开来。

在4月,一个基于这个漏洞的攻击程序(Exploit)在黑市售卖,售价1.5万美元。7月,基于这个产品的第一个恶意软件出现,是一个名为“ Dyre Banking”的木马程序,可以攻击全球用户并盗取被感染设备上的信用卡号。

从上面这个事件里,我们可以看到恶意软件诞生的基本过程。首先,黑客利用一个漏洞开发出可作攻击使用的程序产品,在黑市上售卖,购买者利用它开发出恶意软件,然后感染用户设备

在这个案例里,微软自己发现了这个漏洞,并提前发布补丁。但是,如果恶意黑客们在软件公司之前就发现了这个漏洞,那么这个漏洞就是“零日漏洞”了。“零日”这个词用来讽刺软件商和安全公司根本不知晓自己的漏洞:软件商们知道这个漏洞有几天呢?一天也没有!而网络安全专家的主要目标,就是在“零日漏洞”程序变成恶意软件之前找到它们。

机器学习之下的深网和暗网

对亚利桑那州立大学的Eric Nunes和同事们来说,这次的Dyre Banking木马事件给了它们一个重要的灵感,可以用一种全新的方法来应对这类网络安全问题。

他们利用机器学习来研究深网(Deep Web) 和暗网(Dark Web)里的黑客论坛和交易市场,追踪最新的漏洞线索

先来说一下深网和暗网的概念。一般的网络分三层,首先是表层网络,即普通人平时熟悉和使用的网络,任何搜索引擎都能抓取并轻松访问。然后是深网:表层网之外的所有网络我们都称之为深网,搜索引擎无法对其进行抓取,它并没有完全隐藏起来,只是普通搜索引擎无法发现它的行踪。第三层是暗网:暗网是深网的一部分,但被人为地隐藏了起来。如果不是技术大牛,你很难打入这个网络之中。

Nunes和他的同事们开发出一个爬虫程序,从深网和暗网的HTML网页上搜集信息,来监控这里的黑客的活动。 显然,这一工作的关键在于为爬虫程序找到最佳的起始页面,而这个任务必须由熟悉深网的人来完成。

深网里的内容庞杂,Nunes的系统只提取与黑客活动有关的信息,而摒弃掉无关的类似毒品、武器交易等内容。所以,在建立数据库的过程中,需要为信息贴上标签,为算法指出哪些与黑客活动有关而哪些无关。在目前的训练数据库中,25%的标签都是由人工完成,一个人每分钟要给5个黑市产品或给一个论坛里的两个话题贴上标签。之后,他们用贴好标签的数据来训练算法,用未贴标签的数据来测试学习成果。

研究成果

机器学习的成果十分有趣。Nunes和他的同事们表示,这个机器学习模型,对于黑市产品的识别准确率是92% ,对于论坛里恶意攻击话题讨论的识别准确率是80%。这是一个很高的准确度了。

而且这个系统已经揭露了一些恶意黑客行为。“在4周时间里,我们从黑市交易数据中发现了16个零日漏洞。”该团队透露道。这其中包括一个安卓系统的严重漏洞,交易价格为2万美元,还有一个IE 11浏览器的安全漏洞,价格为1万美元。

该团队也制作出了深网论坛和交易市场里的社交谱系。团队表示,有751个深网用户出现在不止一个交易市场中,其中有一个卖家在7个市场和1个论坛中十分活跃,并提供了80多个与恶意攻击有关的产品。

这门生意真是获利颇丰。“黑市客户对这个卖家的评分在4.7到5.0之间,他进行过超过7000笔成功的交易,这表示他的产品非常可靠,并且在买家中很受欢迎。”Nunes和同事们说道。

目前,这个系统平均每周搜集305个高质量的网络威胁警告,这吸引了很多商家的目光。实际上,团队透露他们现在正准备把这个系统移交给一个商业合作伙伴。如果这个团队继续搜寻零日漏洞,赶在这些漏洞发展成为恶意程序之前,他们就可以帮助软件开发者及时修复漏洞,这对网络安全专家有很大的帮助。

当然,这也会变成网络安全里“猫鼠游戏”的其中一环。现在黑客们已经知道自己正在被系统性地监视着,不知道他们将如何改变行为方式。 如果这个改变发生了,猫鼠游戏就会进入新的一轮。

Via MIT Technology Review


返回沙发首页  
沙发管家微信
扫描关注沙发管家微信 QQ群: 沙发网官方群 微博:

资讯评论

亲,你需要登录后才能进行评论喔!

还没有评论,快来抢沙发吧!

提示

热门设备安装方法 查看更多>>

最新设备

智能电视 / 盒子评测

安装指南

应用

热门专题