一種模擬想象與人類高級心理狀態的新型 Transformer 架構

人工智能（AI）的發展與神經生物學過程的研究深度互聯，對前者的深入理解可揭示后者的寶貴洞見，反之亦然。近期神經科學研究發現，心理狀態轉換（如從清醒到慢波睡眠再到快速眼動睡眠）會調節一類稱為第 5 層錐體雙點神經元（TPNs）的臨時交互，使其與個體心理狀態同步。

這些交互涉及源自外部世界的信息（廣義稱為感受野，RF1）與內部狀態產生的輸入（稱為情境場，CF2）。既往研究表明，RF1 和 CF2 輸入分別在神經元內的兩個不同位點 —— 基底位點和頂端位點進行處理。

當前采用注意力機制的 AI 算法（如 Transformer、Perceiver 和 Flamingo 模型）雖受人類大腦能力啟發，但在可靠模擬高級感知處理和人類想象狀態方面仍存在局限。

英國斯特靈大學副教授 Ahsan Adeel 近期開展的一項研究，探索了開發可復現此類高級心理狀態的 AI 模型的可能性，該模型有望加速學習并降低計算負載。

其發表于 arXiv 預印本服務器的論文介紹了 Co4—— 一種受大腦啟發的協作式上下文敏感認知計算機制，專門用于復制人類新皮質第 5 層錐體 TPNs 中發現的雙輸入狀態依賴機制。

“Adeel 在論文中指出：‘關注相關信息是哺乳動物大腦和 Transformer 等現代機器學習模型的基礎?！?/span>

‘然而，確定相關性仍是核心挑戰，傳統方法將其交由反向傳播等學習算法處理。受近期將新皮質錐體細胞與不同心理狀態關聯的細胞神經生物學證據啟發，本研究展示了模型（如 Transformer）如何模擬高級感知處理和清醒思維（想象）狀態，以在應用注意力前預選擇相關信息?！?/span>

作為該研究的一部分，Adeel 開發了一種新型 Transformer 模型，可模擬人類感知推理和想象狀態。該模型通過預選擇相關信息并識別其最顯著部分，再對其應用完整注意力。

模型遵循特定推理模式連接概念，聚焦于問題（即所問內容）、線索（即有助于回答問題的信息片段）和假設（即問題的可能答案）。這種推理 “循環” 模擬了人類解決問題的方式，并隨時間調整思維過程。

“Adeel 寫道：‘問題（Q）、線索（鍵，K）和假設（值，V）之間的三元神經元級調制循環，在表征層面實現了多樣化、深層次的并行推理鏈，并允許從初始偏見快速轉向精細化理解。’

‘這使得學習速度提升多個數量級，計算需求顯著降低（如更少的頭、層和標記），計算成本約為 O (N)，其中 N 為輸入標記數。研究結果涵蓋強化學習（如高維視覺場景中的 CarRacing）、計算機視覺和自然語言問答。’”

Adeel 在一系列學習、計算機視覺和語言處理任務中評估了其改進的 Transformer 架構。測試結果極具前景，凸顯了新開發機制在提升 AI 模型推理能力方面的潛力，可能使其更接近人類水平。

“Adeel 總結道：‘本文呈現的初步證據表明，模擬從高級感知處理到深度、審慎想象推理的高級心理狀態的細胞基礎，可能是邁向具有認知意義的機器智能的一步?！?/span>

‘這種方法不僅為實現大量輕量級、推理高效的 AI 模塊打開了大門，還推動這些系統超越單純的信息處理，邁向上下文推理，從原始效率轉向真正的理解?！?/span>

END