Neurobridge：基于认知先验和双向语义对齐的生物启发自监督脑电图像解码

Arxiv：2511.06836v2宣布类型：替换-交叉摘要：视觉神经解码寻求从大脑活动模式重建或推断感知的视觉刺激，提供对人类认知的关键见解，并使脑机接口和人工智能中的变革性应用成为可能。然而，目前的方法仍然受到高质量刺激-大脑反应对的稀缺以及神经表征和视觉内容之间固有的语义不匹配的限制。受生物系统感知可变性和自适应策略的启发，我们提出了一种新的自监督结构Neurobridge，该结构将认知先验增强(CPA)和共享语义投影器(SSP)结合起来，以促进有效的跨通道对齐。具体地说，CPA通过将不对称的、特定于通道的转换应用于脑电信号和图像来模拟感知的可变性，从而增强语义多样性。与以往的方法不同，SSP通过共适应策略建立了一个双向对齐过程，将两个通道的特征相互对齐到共享的语义空间，以实现有效的跨通道学习。Neurobridge在受试者内部和受试者之间的设置下都超过了以前最先进的方法。在被试内场景中，前1位正确率提高了12.3%，前5位正确率提高了10.2%，在200次零镜头检索任务上分别达到了63.2%和89.9%。大量实验证明了所提出的神经视觉解码框架的有效性、健壮性和可扩展性。