Friday, July 15, 2016

腦造影研究全面崩盤?


兩週前,PNAS 上的一項研究指出,十五年來將近四萬篇的「功能性磁振造影」(fMRI)相關論文可能都有問題(註1)!紅透半邊天的 fMRI 腦造影研究,真的只是一種即將崩盤的「新顱像學」嗎?腦造影研究是否會全面崩盤呢?

簡單快速的答案是,不會。那大家為什麼會喊的如此聳動?原文到底說了什麼?腦造影研究究竟有什麼潛在的問題呢?以下就來幫大家分析一下這其中的眉角。

1. 原文說了什麼?

PNAS 這篇文章其實出發點很單純,就是想看看 fMRI 真實資料中出現「假陽性結果」的機率(false positive rate)有多高。這裡所謂的「假陽性率」,就是看起來像是「真訊號」、但其實卻是由隨機雜訊所致的「假訊號」。

檢視假陽性率的做法也很簡單,就是使用「不應該出現任何真訊號的資料」,然後分析看看會跑出多少假陽性結果即可。


原文中的其中一項分析,就是使用這種方法。作者先取得 499 人的腦靜息狀態資料(resting-state fMRI data),然後隨機抽出 20 人為一組,接著用三種大家常用的資料分析軟體、以及各種常用且默認的基本預設參數、並把資料當成「任務式資料」(tasked-based fMRI data)來進行分析並統計結果。(每一種軟體和參數組合,都重複抽算 1000 次)。

由於這些 fMRI 資料是「腦靜息狀態資料」,也就是受試者在沒有進行任何任務或認知活動時的腦狀態,理論上來說,上述的分析結果應該只會有 5% 的大腦區域因為隨機雜訊而出現「假陽性結果」。但是真正的分析結果一出,眾人傻眼,「假陽性結果」的出現機率竟然高達 70%。

2. 為什麼這假陽性機率這麼高?

關於這一點,基本上是個統計學問題。

科學家在測量腦中每一個「體積元素」(voxel,以下簡稱「體素」)是否真的有訊號存在時,必須要把隨機雜訊列入考量。有時候,「體素」中根本沒有真的訊號,但是因為隨機雜訊很高,因此會出現假陽性訊號,這也就是統計上的第一型錯誤(Type I error)。

由於雜訊無所不在,因此這種錯誤不可避免,唯一可以做的,就是透過一些假設來算出這種錯誤的出現率。比方說,我們可以假設隨機雜訊是常態分佈,然後估算出各種不同隨機雜訊強度的出現機率。

一般來說,超強隨機雜訊的出現機率都很低,因此如果我們觀察到的訊號越強,它是隨機雜訊的機率就越低。大家常常看到 p<0.01 這樣的門檻值,意思就是:這個結果只有小於 1%的可能性是因為隨機雜訊所導致的假陽性結果。


如上圖,雜訊導致的結果呈現高斯(常態)分佈,雖然有時候會觀察到很強的訊號(綠色部份),但它們仍有可能是隨機雜訊所致。

多重比較問題

好了,上面的方式,就是只有處理單一體素(或單一一項觀察或檢驗)時所用的統計方式。但是當我們必須檢驗好幾次、或同時檢驗好幾個體素時的時候,就又有新的問題出現。

比方說,如果我們同時檢驗 10 萬個體素,由於每個體素都有 1%的假陽性機率,結果就是 10 萬個之中大約有 1%的體素會出現假陽性,也就是約 1000 個體素,算是非常大的一個數字!

這就是統計上的「多重比較問題」(multiple comparison problem),必須要進行額外的校正才行。校正的方法有很多種,其中一種方法,就是去看看這些 p<0.01 的體素有沒有在空間上相連。這個想法的背後假設是:如果它們真的是隨機的假陽性體素,那麼應該會隨機四散在大腦的三維空間中,相反的,如果它們全都在空間中相連形成聚落(cluster),那麼就比較有可能是真的訊號(註2)。

但是,就算這些假陽性體素真的是隨機四散,它們仍然有可能恰巧在空間中形成聚落不是嗎?


比方說,我在達特茅斯念書時的同班同學班尼特(Craig Bennett),就曾經把死鮭魚放入 fMRI 的機器,然後播放一些圖片給死鮭魚看。當他分析死鮭魚的大腦反應時,竟然發現有些腦區在「播放圖片給死鮭魚看時」比較活躍(註3)。

很顯然的,因為鮭魚是死的,根本看不到用來刺激大腦的圖片,所以這些活躍的腦區必然只是隨機雜訊所導致的假陽性聚落而已。這項有趣但重要的研究,也讓班尼特拿到了 2012 年的搞笑諾貝爾神經科學獎。

好了,既然這種「假陽性聚落」可能會出現在大腦中,我們當然就得再透過一些假設,來估算一下各種不同大小的「假陽性聚落」的隨機出現機率,然後再加設一個門檻值來進行篩選。

關鍵的錯誤

而關鍵的錯誤,就是出現在「到底該用怎樣的假設」來估算各種不同大小的「假陽性聚落」的出現機率!?

現在大家所用的分析軟體中,大都採用了高斯隨機場理論(Gaussian random-field theory , RFT),這個理論假設訊號在腦中出現時,會呈現高斯形態分佈,並藉此來估算完全獨立的體素數目以及「假陽性聚落」的出現機率。

沒想到,PNAS 這篇研究在進一步分析後卻發現,腦中訊號的分佈並非總是呈現均勻的高斯形態。也因此,這個可能錯誤的假設,就導致了錯誤的門檻值,使得大家低估了假陽性聚落的出現機率。

這篇文章指出的另外一個問題,則是在其中一個分析軟體(AFNI)中發現的一個已經存在長達 15 年的程式錯誤,這個程式錯誤縮小了搜索的體素數目(低估了多重比較的數目),並因此高估了統計的顯著性。


 

3. 腦造影與神經科學崩盤?

好了,以上就是 PNAS 原文的基本發現。我個人覺得,這篇文章算是很不錯的資料模擬分析研究。但是,受影響的研究論文數量真的有 40000 篇嗎?

原文的第二作者尼可斯(Thomas Nichols)很快就在部落格上澄清(註4),並把受影響的論文數量下修到 3500 篇,原因就在於,很多研究根本就不是採用上述的「聚落分析」方式來校正。就算是採用聚落分析,許多研究也不是使用軟體的預設值(例如很多研究使用的第一門檻值可能遠比 p<0.01 更嚴苛)。而且,這 3500 篇研究測量到的效應值如果很大,它是假陽性的機率就會降低。

有人擔心整個腦造影領域或神經科學會跟著崩盤。我想這是完全不可能。原因如下:
A. 即使 fMRI 結果真的有過高的假陽性結果,我們依然可以透過綜合性的分析來預估某項發現真正的假陽性機率,例如,研究A發現X腦區可能與語言有關,而其假陽性機率是70%,此時若研究B也發現X腦區可能與語言有關,而其假陽性機率也是70%,那麼當我們同時看待兩項研究時,這兩項研究同時為假陽性的機率就只剩下49%,如果有更多的研究也發現同樣的結果,該發現的假陽性機率就會不斷下降。

B. 有些腦造影研究是屬於探索型的,例如想要找出某種前人沒有研究過的認知功能的對應腦區。這樣的研究可能會想要採取較寬鬆的門檻值,以允許科學家在結果中公開較多的腦區讓後來的研究者參考。

C. 就算所有的 fMRI 研究果真的全部有誤,我們還有其他的測量方法來進行驗證。腦造影研究畢竟不是只有 fMRI,還有如 PET 和 MEG 等其他各種測量技術,而神經科學也不是只依賴腦造影,還有行為科學、電生理與細胞生物學等都可以提供左證。因此,腦造影領域或神經科學幾乎不可能會因此而崩盤。
總而言之,一項科學發現如果要能站穩,都是要經過好幾次的實驗重現,以及不同測量方法與實驗典範的驗證。

4. 結語:科學數據公開共享與質疑基本假設

PNAS 這篇文章真正值得大家深思和警惕的地方,並不是15年來的腦造影發現是否全是垃圾(當然不是),也不是科學家是否在進行資料分析都不夠謹小慎微(其實大部分都很細心)。

我們真正要思索與鼓勵的應該是(1)科學數據公開共享,以及(2)對各種基本假設始終保持存疑。


過去20年來,其實一直都有腦造影科學家在呼籲大家要重視其中的假陽性問題,而大部份的神經造影學者也都非常小心。但是囿於沒有大量的真實數據可以提供適當的參數,科學家也只得無奈的採用理論上的預設參數進行資料分析。

所幸,近年來神經科學家開始自發推動腦造影資料共享計畫,相關的計量與統計科學家才終於可以透過公開資料庫,獲得足夠的腦造影資料,以檢視大家先在分析時所採用的假設。之前可能存在的假設錯誤,也才終於有機會獲得修正。

科學演進的特色之一,就是證據不斷的累積、以及透過發現錯誤來不斷修正假設。從這個角度看,PNAS 這篇研究其實一點都不負面,而可以看成是科學社群自我反省檢驗後向前邁進的一個正面案例。


ps. PNAS 這篇原文中的最大錯誤,應該就是在前言的「重要性摘要」中,砲轟過去 15 年的 40000 篇論文都可能作廢的那句話。但是也因為此言,才招來了噬血媒體的引用並引發廣泛的注視與討論。


這句話,究竟是原文中粗心大意的「敗筆」?還是精心策劃的「勝筆」呢?


參考資料:

1. PNAS 原文:Eklund et al. (2016). Cluster failure: Why fMRI inferences for spatial extent have inflated false-positive rates. PNAS.

2. Friston KJ, et al. (1994). Assessing the significance of focal activations using their spatial extent. Hum Brain Mapp. 1(3):210-20. (PDF)

3. Bennett, C., Miller, M., & Wolford, G. (2009). Neural correlates of interspecies perspective taking in the post-mortem Atlantic Salmon: an argument for multiple comparisons correction. NeuroImage, 47 DOI: 10.1016/S1053-8119(09)71202-9. Poster (PDF):  PAPER (PDF)

4. 原文的第二作者尼可斯(Thomas Nichols)在部落格上的修正文

No comments: