在上一節(jié)中我們介紹了深度學(xué)習(xí)可解釋性的三種方法：1. 隱層分析法，2. 敏感性分析法 3. 代理/替代模型法。在這一節(jié)中我們主要介紹種方法：隱層分析法。

1. 黑箱真的是黑箱嗎？——深度學(xué)習(xí)的物質(zhì)組成視角

通過(guò)上一節(jié)的介紹我們也了解到，深度學(xué)習(xí)的黑箱性主要來(lái)源于其G度非線性性質(zhì)，每個(gè)神經(jīng)元都是由上一層的線性組合再加上一個(gè)非線性函數(shù)的得到，我們無(wú)法像理解線性回歸的參數(shù)那樣通過(guò)非常solid的統(tǒng)計(jì)學(xué)基礎(chǔ)假設(shè)來(lái)理解神經(jīng)網(wǎng)絡(luò)中的參數(shù)含義及其重要程度、波動(dòng)范圍。但實(shí)際上我們是知道這些參數(shù)的具體值以及整個(gè)訓(xùn)練過(guò)程的，所以神經(jīng)網(wǎng)絡(luò)模型本身其實(shí)并不是一個(gè)黑箱，其黑箱性在于我們沒(méi)辦法用人類可以理解的方式理解模型的具體含義和行為，而神經(jīng)網(wǎng)絡(luò)的一個(gè)非常好的性質(zhì)在于神經(jīng)元的分層組合形式，這讓我們可以用物質(zhì)組成的視角來(lái)理解神經(jīng)網(wǎng)絡(luò)的運(yùn)作方式。比如如下圖所示，人體的組成過(guò)程是從分子-細(xì)胞-組織-器官-系統(tǒng)-人體：

而通過(guò)一些對(duì)神經(jīng)網(wǎng)絡(luò)隱層的可視化我們也發(fā)現(xiàn)：比如下圖的一個(gè)人臉識(shí)別的例子，神經(jīng)網(wǎng)絡(luò)在這個(gè)過(guò)程中先學(xué)到了邊角的概念，之后學(xué)到了五官，后學(xué)到了整個(gè)面部的特征。

如果我們能夠用一些方法來(lái)幫助我們理解這個(gè)從低J概念到GJ概念的生成過(guò)程，那么就離理解神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)就近了很多。而這也可以逐漸幫助我們完成一個(gè)“祛魅”的過(guò)程，將調(diào)參的魔法真正變成一項(xiàng)可控、可解釋的過(guò)程。

要理解這個(gè)概念的生成過(guò)程很重要的一點(diǎn)就是要研究隱層的概念表示，在接下來(lái)的部分中我將給大家介紹業(yè)界關(guān)于隱層分析方法的幾個(gè)研究工作。

2. 模型學(xué)到了哪些概念？

要理解神經(jīng)網(wǎng)絡(luò)中每層都學(xué)到了哪些概念一個(gè)非常直觀的方法就是通過(guò)對(duì)隱層運(yùn)用一些可視化方法來(lái)將其轉(zhuǎn)化成人類可以理解的有實(shí)際含義的圖像，這方面一個(gè)非常具有代表性的一個(gè)工作就是14年ECCV的一篇經(jīng)典之作：《Visualizing and Understanding Convolutional Networks》，這篇文章主要利用了反卷積的相關(guān)思想實(shí)現(xiàn)了特征可視化來(lái)幫助我們理解CNN的每一層究竟學(xué)到了什么東西。我們都知道典型的CNN模型的一個(gè)完整卷積過(guò)程是由卷積-激活-池化（pooling）三個(gè)步驟組成的。而如果想把一個(gè)CNN的中間層轉(zhuǎn)化成原始輸入空間呢？我們就需要經(jīng)過(guò)反池化-反激活-反卷積這樣的一個(gè)逆過(guò)程。整個(gè)模型的結(jié)構(gòu)如下圖所示：