本報(bào)記者 曲忠芳 李正豪 北京報(bào)道

試想一下：當(dāng)有人將一張“神奇的貼紙”放置在面部，就能使人臉識(shí)別門禁系統(tǒng)誤認(rèn)為是你，從而輕而易舉打開大門；同樣是這張“神奇的貼紙”，把它放置在眼鏡上，就可以1秒解鎖你的手機(jī)人臉識(shí)別，探取你的隱私如入“無人之境”。

這樣的景象，并不是科幻電影中的想象，而是《中國經(jīng)營報(bào)》記者從9月16日舉行的AISC首屆人工智能安全大賽現(xiàn)場所看到的真實(shí)攻防場景。

人工智能在快速發(fā)展的同時(shí)，也帶來了一些新的風(fēng)險(xiǎn)和隱患。人工智能安全是人工智能生態(tài)體系中的重要組成部分，關(guān)系到社會(huì)經(jīng)濟(jì)生活的方方面面，是我國數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的重要支撐與基礎(chǔ)保障。基于此，由國家工業(yè)信息安全發(fā)展研究中心、清華大學(xué)人工智能研究院和AI技術(shù)企業(yè)瑞萊智慧等聯(lián)合舉辦了人工智能安全大賽，這是國內(nèi)首個(gè)全國性的人工智能安全賽事，其目的在于推動(dòng)人工智能技術(shù)創(chuàng)新、實(shí)戰(zhàn)演練、場景挖掘和人才培養(yǎng)等。

瑞萊智慧CEO田天明確指出，人工智能技術(shù)風(fēng)險(xiǎn)發(fā)生的范圍正隨著應(yīng)用場景的日趨廣泛而逐步擴(kuò)大，風(fēng)險(xiǎn)發(fā)生的可能性也隨著其應(yīng)用頻次的增長而持續(xù)提高。統(tǒng)籌做好人工智能發(fā)展與安全已成為當(dāng)務(wù)之急。

AI安全并非未來挑戰(zhàn)，而是眼前威脅

“人工智能當(dāng)前的安全風(fēng)險(xiǎn)，主要可以從‘人’與‘系統(tǒng)’這兩個(gè)視角來剖析?！碧锾烊缡潜硎尽娜说囊暯莵碓u估AI的安全問題，首先就是技術(shù)的兩面性問題——存在AI技術(shù)濫用甚至“武器化”的問題。具體到人工智能的應(yīng)用中來看，最為典型的代表就是“深度偽造技術(shù)”，其負(fù)向應(yīng)用風(fēng)險(xiǎn)持續(xù)加劇且已產(chǎn)生實(shí)質(zhì)危害。

田天進(jìn)一步解釋說，現(xiàn)場使用“神奇的貼紙”破解人臉識(shí)別所揭示的正是“系統(tǒng)”的風(fēng)險(xiǎn)，它來自于深度學(xué)習(xí)算法本身的脆弱性。以深度學(xué)習(xí)算法為核心的第二代人工智能是個(gè)“黑盒子”，具有不可解釋性，這意味著系統(tǒng)存在結(jié)構(gòu)性的漏洞，可能遇到不可預(yù)知的風(fēng)險(xiǎn)?！吧衿娴馁N紙”實(shí)際就是“對抗樣本攻擊”，即通過在輸入數(shù)據(jù)中添加擾動(dòng)，使得系統(tǒng)作出錯(cuò)誤判斷。

尤其值得注意的是，這一漏洞在當(dāng)前大火的自動(dòng)駕駛感知系統(tǒng)中同樣存在。瑞萊智慧相關(guān)人員在現(xiàn)場還演示了用對抗樣本攻擊自動(dòng)駕駛汽車的情況。記者觀察到，在正常情況下，當(dāng)攝像頭識(shí)別到路障、指示牌、行人等目標(biāo)后，自動(dòng)駕駛車輛就會(huì)立即停車，但是如果在目標(biāo)物體上添加干擾圖案后，車輛的感知系統(tǒng)就會(huì)出錯(cuò)，徑直撞上去。

多方探索AI安全建設(shè)的新路徑

統(tǒng)籌發(fā)展和安全，是每項(xiàng)新技術(shù)發(fā)展過程中面臨的必然問題，如何實(shí)現(xiàn)高水平發(fā)展和高水平安全的良性互動(dòng)，也是當(dāng)前人工智能產(chǎn)業(yè)發(fā)展很重要的命題，現(xiàn)場多位專家就此話題展開分享，探索AI安全建設(shè)的新思路與新路徑。

人工智能對抗攻防包括對抗樣本、神經(jīng)網(wǎng)絡(luò)后門、模型隱私問題等多方面技術(shù)。模型有錯(cuò)誤就需要進(jìn)行及時(shí)的修復(fù)，中國科學(xué)院信息安全國家重點(diǎn)實(shí)驗(yàn)室副主任陳愷提出了“神經(jīng)網(wǎng)絡(luò)手術(shù)刀”的方法，通過定位引發(fā)錯(cuò)誤的神經(jīng)元，進(jìn)行精準(zhǔn)“微創(chuàng)”修復(fù)。陳愷指出，不同于傳統(tǒng)的模型修復(fù)工作需要重新訓(xùn)練模型，或者依賴于較大量的數(shù)據(jù)樣本，這種方式類似于“微創(chuàng)手術(shù)”，只需極少量或無須數(shù)據(jù)樣本，就能夠大幅提升模型修復(fù)效果。

工商銀行金融研究院安全攻防實(shí)驗(yàn)室主管專家蘇建明則表示，人工智能安全治理需要廣泛協(xié)作和開放創(chuàng)新，需加強(qiáng)政府、學(xué)術(shù)機(jī)構(gòu)、企業(yè)等產(chǎn)業(yè)各參與方的互動(dòng)合作，建立積極的生態(tài)規(guī)則。政策層面，加快人工智能的立法進(jìn)程，加強(qiáng)對人工智能服務(wù)水平、技術(shù)支撐能力等專項(xiàng)監(jiān)督考核力度。學(xué)術(shù)層面，加大對人工智能安全研究的激勵(lì)投入，通過產(chǎn)學(xué)研合作模式加快科研成果的轉(zhuǎn)化與落地。企業(yè)層面，逐步推動(dòng)人工智能技術(shù)由場景拓展向安全可信發(fā)展轉(zhuǎn)變，通過參與標(biāo)準(zhǔn)制定，推出產(chǎn)品服務(wù)，持續(xù)探索人工智能安全實(shí)踐及解決方案。

通過比賽加速培育AI安全新型人才

中國科學(xué)院院士、清華大學(xué)人工智能研究院名譽(yù)院長張鈸指出，構(gòu)建下一代人工智能，實(shí)現(xiàn)安全、可信、可靠、創(chuàng)新發(fā)展，需要融合知識(shí)、數(shù)據(jù)、算法、算力四個(gè)要素，對技術(shù)及功能持續(xù)地進(jìn)行推演和實(shí)驗(yàn)，而舉辦人工智能安全大賽顯然是一個(gè)有效的途徑和方法。

記者獲悉，本次人工智能安全大賽自7月啟動(dòng)以來，共吸引來自全國70多所高校、科研院所、企業(yè)等超過400支團(tuán)隊(duì)參與，選手共計(jì)600余名。經(jīng)過3個(gè)月的角逐，由上海交通大學(xué)聯(lián)合戰(zhàn)隊(duì)“AreYouFake”與北京交通大學(xué)戰(zhàn)隊(duì)“BJTU-ADaM”分別摘得深度偽造安全與自動(dòng)駕駛安全賽道第一名，北京理工大學(xué)戰(zhàn)隊(duì)“DeepDream”與建信金科戰(zhàn)隊(duì)“Tian Quan&LianYi”共同位列人臉識(shí)別賽道第一名。

田天認(rèn)為，構(gòu)建人工智能的安全生態(tài)，一方面需要技術(shù)的持續(xù)演進(jìn)，一方面也需要專項(xiàng)技術(shù)人才的建設(shè)與培養(yǎng)。由于人工智能安全研究目前仍屬于新興領(lǐng)域，專項(xiàng)人才較少，缺乏系統(tǒng)性的研究隊(duì)伍，本次大賽通過實(shí)戰(zhàn)演練的方式，全方位驗(yàn)證和提升選手實(shí)戰(zhàn)能力，為培育一批高水平、高層次的人工智能安全新型人才團(tuán)隊(duì)提供了“快速通道”。

（編輯：吳清 校對：顏京寧）