騰訊胡珀：從危到機 AI 時代下的安全挑戰

騰訊如何運用AI 技術應對安全挑戰？AI時代下，安全攻防又有哪些新變化？——在6月30日的2018 全球人工智能與機器人峰會（CCF-GAIR）上，騰訊安全平臺部總監、Tencent Blade Team負責人胡珀，揭秘了騰訊AI安全布局和最新進展。

胡珀首先分享了對AI本身的安全問題的考量與反思。他提出，AI將是下一次的工業革命，但不可避免的存在安全方面的局限性。智能設備滲透到各行各業，也將會帶來很大的安全隱患。除了自身算法安全、第三方組件問題，AI技術還可能被黑產利用。

面對AI時代的安全隱患，胡珀認為：“安全絕不僅僅是被動的事后處理，而是也要主動研究最前沿、最尖端的技術，用未雨綢繆的前瞻性研究來武裝我們的工作。” Tencent Blade Team正是騰訊專項進行安全研究的部門，研究重點隨著騰訊和整個安全行業面臨的實際場景不斷進行調整變化。近年來隨著AI大規模工程化、實用化，Tencent Blade Team加大了對 AI 智能設備安全方面的研究。

在具體場景下不斷實戰的同時，騰訊也助力行業進行技術優化。17年年底，騰訊發現谷歌人工智能學習系統TensorFlow存在嚴重安全風險，可被黑客利用帶來安全威脅，Tencent Blade Team向谷歌報告了這一風險并獲得致謝。據悉，該風險是TensorFlow首個自身安全風險。

相比同行業公司，騰訊的AI+安全所面臨的場景更加豐富。騰訊主營業務涵蓋游戲、社交、支付等多個領域，如QQ及微信的登錄、QQ及微信內垃圾信息的打擊等，都用到機器學習來保障用戶的安全。除此之外，面對近期發展迅速的AI+醫療、智慧零售和智慧樓宇，Tencent Blade Team也在探索更新的AI安全解決方案。

胡珀是國內首個漏洞獎勵平臺TSRC負責人，自2007年加入騰訊以來，他一直從事國際范圍內的前沿安全攻防技術、黑客攻防技術對抗研究，包括人工智能（AI）、物聯網、移動互聯網、數據安全等，先后負責過漏洞掃描、惡意網址檢測、主機安全、DDoS攻擊防護系統的建設和運營以及應急響應、前沿安全、安全培訓、安全研究、漏洞獎勵計劃等工作。

胡珀演講全文如下：

今天非常榮幸能夠分享一下騰訊在AI安全方面所做的一些事情。先做一個自我介紹，我叫胡珀，在騰訊安全平臺部工作了11年，一直在從事黑客攻防對抗方面的工作。我的一部分工作是屬于安全研究，一直以來我們的理念就是安全絕不僅僅是被動的事后處理，而是也要主動研究最前沿、最尖端的技術，用未雨綢繆的前瞻性研究來武裝我們的工作。為此，我們也組建了一支團隊——Tencent Blade Team，專門進行安全的前沿研究，研究重點隨著騰訊和整個安全行業面臨的實際場景不斷進行調整變化。比如最開始是研究Web安全，后來逐漸向移動互聯網安全、物聯網安全轉型。近年來隨著AI大規模工程化、實用化，我們也加大了對 AI 智能設備安全方面的研究，這個演講就是對我們研究的總結。

AI是下一次的工業革命，我們現在不管是開會、人臉識別、車牌識別，還有智慧城市、智慧零售，還是智能手環、智能手機、智能音箱等，AI越來越滲透到我們的生活里。所有東西都AI了，基本上各個行業也都會引入AI，我們去（會場）外面看一下，全是各種智能的設備。

但是物聯網設備或者所謂的智能設備滲透到各行各業，到我們生活之中，可能會帶來很大的安全隱患。比如智能音箱有接收語音指令的功能，如果音箱被黑客控制的話，就可能會變成竊聽器。同理，攝像頭如果被黑掉，也可能被用來監視我們。

今天我要講的主要分為兩部分，第一部分是以智能設備為典型代表的AI存在的安全問題，第二部分講騰訊把AI應用到安全場景去做安全檢測或者安全防護上的實踐。

AI的安全問題我們總結了一下，大概歸為三類：第一類是AI算法自身的安全問題，前面幾位老師也有講到，比如現在我們的圖像識別，圖像欺騙，自己用PS定制一張圖片，加一些像素進去，可能就會導致自動駕駛中的識別系統受到干擾。

第二類就是AI系統引入第三方的組件，但這些組件也會存在問題，這就是傳統的安全問題了，包括對文件的處理，對網絡協議的處理，各種外部輸入協議的處理都可能會出問題。

第三類就是黑產也會用到AI。大家不要以為AI只是停留在學術界或者是工業界，其實現在黑產也大量在使用AI，之前我們處理過一個案子，就是黑產用機器學習的算法來識別驗證碼，最高可以達到80%到90%的識別率，這個團伙被摧毀后，我們發現這是我們見過的科技含量最高的黑產之一。

首先我們會發現，AI是很容易被帶壞的。這是微軟推出的機器人，通過跟網友對話進行學習，惡意的網友就會亂教它，比如罵臟話，甚至是種族歧視。

前面的老師也講過，現在AI是孩子，你教什么就學什么，結果學壞了，最后罵人，后來微軟馬上下架去修改，這就是一種樣本的問題。

第二個問題就是AI會被蒙蔽。只需要一些簡單的操縱，人眼看起來毫無區別，AI識別卻會得出完全錯誤的結果。比如這是一個人臉識別系統，給一張照片會識別出這個人的性別、年齡、表情、魅力值，第一張圖正常圖片可以識別出是男性，21歲，表情黯然傷神，但是如果經過特殊處理，加一些圖層進去，對我們人眼沒有影響，但就會被AI就識別成女性，20歲。另外兩個也是，疊加圖層上去，整個AI識別結果完全顛覆了，結果變成了男性，36歲。我們進行了測試，最大會有20%的識別錯誤幾率。

針對標識的識別也是如此。我們可以看到，通過類似的圖層疊加手法，會嚴重影響AI的識別結果。比如第一張圖可以直行，第二張圖加入圖層后，我們人眼識別完全沒變化，但到AI去識別就可以直行也可以右轉，限速30變成限速80。這就是對AI的攻擊。大家可以想像，如果這個攻擊案例被用到了實際環境，可能直接導致車毀人亡的嚴重情況。

第三個問題就是被污染，也就是在AI的底層框架存在的問題。比如谷歌的深度學習系統TensorFlow，Tencent Blade Team研究之后，發現它其實存在一些傳統的網絡安全問題，比如惡意構造一個模型文件，格式經過特殊構造就可以控制它整個AI系統，然后可以算出AI系統的設計或者架構問題。除此之外，如果引用了惡意的第三方組件，也會導致系統崩潰，拿到系統權限。

這些漏洞我們都報給了官方，并拿到了致謝。這些系統如果底層出問題，被黑客利用，后果是災難性的，所以現在產業界、學術界都非常關注AI的底層架構安全。

第四，許多智能設備都可能被控制。比如智能音箱可能被竊聽，我們團隊對市面上的一些智能音箱做了一系列研究，許多智能音箱都有安全問題，包括協議的解析和認證授權等，其實還是傳統的安全問題。如果大家感興趣，可以在今年8月份在拉斯維加斯的DEF CON上關注我們介紹智能音箱的漏洞技術細節的議題。

另外就是智慧城市，現在很多地方都引入了智慧城市，里面會用很多新的協議，比如 IoT 的協議，這個也存在許多安全隱患。

我們選用騰訊大廈作為目標進行了測試，發現它所使用的智能樓宇設備協議和加密通訊存在一些技術風險，這就造成我們可以通過遠程控制某一層的會議室燈、空調、窗簾，包括插座等。

我們當時放了一個無人機到頂樓，掛了一個信號發射器，實現了對整層樓的開燈關燈關窗簾的控制，在歐洲的HITB安全峰會上我們也詳細講了這個漏洞的技術細節。

因為供應商是國外的，我們把問題報給官方，也修復了，做這個實驗本身就是希望把這個問題修復掉。

除了智能音箱、智慧樓宇等，我們還研究過無人機。2015年，Blade Team參加一個黑客比賽，遠程用電腦把無人機劫持了。我們破解了無人機的通訊協議，破解之后發現，只能夠抓到一部分無線電協議，就可以去模擬搖控器發出來的協議，把當時的無人機給劫持掉。

攝像頭也是類似。2014年的時候，我們對國內的攝像頭做了一系列的安全評測，2014年是智能攝像頭元年，所以我們也要去跟進看一下。大家有沒有見過有部電影叫《竊聽風云》，里面有個橋段就是加了一個設備，把攝像頭替換掉，導致保安沒有發現有人進去了。

有些攝像頭我們發現也是有這個問題的，我這里放了一個QQ公仔，攝像的 wifi 網絡被我劫持替換，就能控制它所有想要展示的圖像，我重新可以錄視頻，把公仔隱掉。

另外就是一些智能手機，因為智能手機現在用了越來越多的一些所謂的生物識別、智能識別，比如說人臉解鎖，人臉解鎖之前有很大的問題，但是我直接用照片，而且用二維的照片就可以解鎖。不過現在應該已經加了3D或者活體識別了，就沒那么簡單，但是我們目前在進行的一些研究中發現還是有機會的。所以后面有機會大家還可以看到我們的分享。

有些手機可以支持智能設備解鎖，比如手環解鎖，只要手機靠近手環就解鎖了，不用輸密碼，這也是比較方便。但在設計的時候會出問題，解鎖的時候它只會檢測我的手環match地址，這個也很容易實現，我們可以直接解鎖他的手機。另外一些品牌手機可能采取的是指紋解鎖，但我們發現用一個類似的導電硅膠，直接把紙巾按上去就可以了，根本不需要指紋，這個硅膠按上去算法也通過了，最后解鎖也通過。就像現在的智能電鎖，也是類似的原理。大家會發現，現在的智能手機也是不夠靠譜的。

前面我講的是智能設備本身的一些安全問題和供給場景演示，但除了他們本身存在的問題之外，AI技術還可能被黑產濫用。

這就是我們現在看到的，越來越多的智能設備鏈接到了網絡上，但是這些智能設備的安全防護又沒有傳統的PC防火墻，反而會被黑客黑掉，黑客就拿來挖礦、進行DDoS攻擊等等，這樣就會帶來很大的問題。

這些就是一些惡意軟件，把物聯網設備拿來做DDoS攻擊，現在大量的IoT設備都連接上了網絡，包括路由器、攝像頭，很容易淪為黑客控制的工具。還有一些機器學算法也加入了黑產團隊。

以上就是我講的第一部分，AI的安全問題，下面我來展開講一下第二部分，AI安全應用在具體場景下的應用，包括實戰等。

大概也是這三個方向：一個是會向傳統的生物特征轉變，第二個是研究工具有變化，以前是用特征工程來對抗黑客攻擊，現在可能會轉入機器學習的方法，可能用機器學習給它建一個域值和模型，通過模型來看它是否是黑客攻擊。

框架大概是這樣，可能就是有一個整體的平臺，再加上機器學習作為一個分析引擎，和其他的數據層、信譽庫等一起，協同進行合作。

現在有一種很麻煩的攻擊，就是UDP模擬，包括協議都會模擬到正常的業務，這樣怎么做呢？還是會用機器學習相對好一點，在UDP模擬協議的特定場景之下，這種效果是非常好的。傳統的 DDoS 防護是通過一個量來發現，但機器學習可以通過很多維度解決這個問題。

我們可以看一下，大概引入機器學習的實際效果。我們主要是應用在兩個層面，一個是DDoS，一個是黑客的入侵行為，我們看一下 DDoS 的效果。

這是一個傳統的DDoS的模型，加上一個 AI 環節，用機器學習給所有商戶做畫像。在騰訊云上有很多這樣的小商家，可能它單個商戶面臨的流向不一樣，QQ空間和微信朋友圈流量非常大，小的商戶流量非常小，如果采取傳統的特征工程的方法不能很好解決，比如商戶做活動或者雙十一整體流量上升，就會有這樣那樣的問題。

如果用AI畫基線，比如取前面三個月或者前面一個月的數據，引入機器學習生成一個模型，通過檢測模型來看是否是DDos的攻擊或者活動量突增。這樣的話，平時就不僅是流量的大小，還包括原IP的屬性，或者原端口、整個IP的值，我們會把整個協議讓機器自己去學，讓它自己提特征出來，大概會選出很多維度，我們會用這個維度做模型。如果它某一天或者某一個時刻偏離這個模型，就可能是遭到DDos攻擊。

最后平均準確率從80%到了96.4%，效果還可以，但機器也有誤報，我們現在采取雙引擎在跑，避免出問題。

在反入侵上也是類似，比如說我們的系統管理員登陸服務器，登陸之后可能會做一系列的運維，或者是部署操作，但它是個有限的集，同時它可能會在某一個特定的時間，或者會有特定的習慣，反正是有規律的。

這個規律如果通過特征工程很難做，但通過機器學習，可以很好地為服務器的每一個管理員帳號進行精準畫像，這樣就可以解決黑客冒用帳號的攻擊方式。現在大部分情況是黑客直接拿一個帳號密碼，冒充管理做操作，但它的操作跟管理員是不一樣的，一個是時間，還有一個是翻找文檔，或者是偷數據的行為，但這些是正常運維管理員和普通用戶不會出現的行為。所以完全可以通過這種模型，直接算一個匹配度，同時把它標注出來。

騰訊也有在做這塊東西，效果就是我們的幾次演習，拿到管理員帳號做進一步滲透的時候，他會明顯發現有異常，會告警出來，效果還可以。

今天我總結一下，講了兩部分：一部分就是AI本身的安全問題，其實我們可以看到，隨著現在AI和智能設備越來越應用到我們的生活，有很多各式各樣的安全問題，不管是智能音箱、智能插座還是智慧樓宇等，一定會有很多黑客盯著，學術界、產業界最好提前發現解決，避免出更大的事故，畢竟以前的互聯網都是信息化的東西，現在跟物理世界結合之后，可能會產生很大很嚴重的影響。

第二部分是把機器學習方法應用到傳統的安全場景，在某些特定場景下，AI絕對是優于人類或者傳統的特征工程，但在某些場景我們還需要繼續探索。