有沒有那么幾個瞬間，你要么想把自己腦子里的東西掏出來給別人看，要么想撬開別人的腦子看看里面都裝了什么？雖然錯過了霍格沃茨的入學時間，但如果從現在開始學習擴散模型和神經學，可能很快你就能實現這個目標了。新加坡國立大學，香港中文大學，和Stanford聯手，基于擴散模型實現了從腦電波還原圖像的“人類視覺****”。效果奇佳，還開源了代碼和數據，這還不來一起看看？

▲圖1 基于腦電波還原的圖像與真實圖像對比
論文題目：
Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding

論文鏈接：
http://arxiv.org/abs/2211.06956

代碼鏈接：
https://github.com/zjc062/mind-vis

背景

方法

人腦中有左右的腦細胞，而它們的激活模式是非線性的（一般會用一組復雜的微分方程建模）。為了能觀察如此復雜的神經網絡的活動，目前廣泛采用的是功能性磁共振成像（fMRI，functional magnetic resonance imaging）技術。這項技術不會對被試者造成物理上的傷害，包括外部創口（侵入式）和輻射問題。它的原理是利用磁共振技術，追蹤大腦在思維活動時的血氧變化，依據于此成像。基于fMRI技術，研究者采集了大量的，特別是當人類在進行各種復雜的任務時的大腦活動數據。經過分析，研究者們發現人們在處理同樣的任務時，大腦中被激活的區域基本相近 [1]。

作為1991年的Nature封面，fMRI得到了廣泛研究，目前采集數據的技術已經相當成熟。但這一塊的原理非常復雜，感興趣的話可以搜索血氧依賴機理，blood-oxygen-level-dependent, BOLD。

▲圖2 語言（講故事）任務中大腦被激活區域
神經科學方面雖然有相當多fMRI的原始數據，但在實際使用時，會遇到這樣一些問題：

1. fMRI掃描所得到的數據是以三維形式的體素 (voxel)記錄的，每個數據點包括了三維坐標，電信號幅度等信息，維度很高。為了避免對體素直接進行運算，一般采用的方法是劃興趣區域 (Region of Interest, ROI)，對電信號求時序上的均值，最終獲得一列體素，這樣的數據在緯度方面和通常處理的圖像數據存在相當的差距；
2. 鄰近的體素往往電信號幅度相近，fMRI收集的信息中存在一定冗余；
3. 因為人腦的復雜性，每個個體的數據都會存在一定的域偏移。

▲圖3 fMRI數據的可視化，一列體素，可視化成了一維折線圖

論文將提出的模型命名為MinD-Vis (Sparse Masked Brain Modeling with Double-Conditioned Latent Diffusion Model for Human Vision Decoding), 也算是給對處理fMRI數據的提示了——掩碼。由于fMRI數據中存在大量的冗余，即使將相當大一部分的數據進行了遮掩，最后也能重建得大差不離（見圖3）。因此，計算時直接加上掩碼也不會對模型效果產生太大影響。因為fMRI數據的格式和圖像一樣，論文采用了新出的Masked Image Modeling [2] 來生成embedding vector。
編碼-解碼部分不是很意外地用了ViT。需要注意的是，中間表達采用的稀疏編碼，這是為了保證fMRI表征的細節不被破壞。
以上是Masked Brain Modeling（圖4左）部分的工作，然后就是擴散模型部分，如何從經過如此復雜預處理的fMRI數據中，獲取文本信息，并基于此生成圖像了（圖4右）。
為了能從抽象的表征中獲得視覺信息，論文將解碼任務化歸成了conditional synthesis問題，因此可以使用擴散模型解決。擴散模型的網絡包括一個預訓練過的UNet模型。生成圖像時的限定條件信息基于fMRI數據生成，通過cross-attention head加入UNet。

conditional synthesis是指限定某些特征后進行數據生成。例如，生成微笑的不同人臉。

對于一個conditional generative模型而言，生成圖像要能在條件限定的特征上盡量穩定，與條件無關的特征上保持多樣性。因為人與人的fMRI腦波數據中已經夠為多樣，在生成圖像的時候，需要對UNet進一步約束，強化條件上的限制。

▲圖4 MinD-Vis結構

由于模型的結構較為復雜，當前版本的論文中沒有進行更為詳細的描述，推薦極度好奇的讀者直接看開源代碼。由于涉及了像Masked Brain Modeling，Diffusion Model這類前沿方法，在沒有一定基礎的情況下，想徹底吃透方法會需要相當的時間和精力，大家可以量力而行。

在大致了解了模型結構之后，還是來到各位最關心的部分，講講模型效果。
由于fMRI的數據主要面向神經科學方向的研究，滿足論文任務的數據量不大，模型的訓練、驗證、測試數據總共來自三個不同的數據集，不同集合的數據域都有所偏移。Human Connectome Project [1] 提供136,000個fMRI數據片段，沒有圖像，只有fMRI，主要是用來預訓練模型的解碼部分。Generic Object Decoding Dataset (GOD) [3] 是主要面向fMRI-圖像任務的，包含1250張來自200個類別的圖像，其中50張被用于測試。Brain, Object, Landscape Dataset (BOLD5000) [4] 則選取了113組fMRI-圖像數據對，作為測試。
由于BOLD5000是第一次用于論文提出的任務，論文沒有在這個數據集上與過往工作進行效果對比。在GOD上基于腦波生成的圖像，在效果上相比過往研究顯然有了顯著進步。

▲圖5 GOD數據集上，MinD-vis與過往方法效果比較
論文中還有嚴謹的消融實驗，展示了不同的模型部分對圖像生成效果的影響。部分圖片較為驚悚，此處不進行展示。感興趣的讀者可以參考圖6失敗集錦中右下角的圖片自行評估承受能力。
▲圖6 MinD-vis翻車集錦

尾聲