比神经元更多的特征

一个神经元，三种意思

研究者在一个叫 InceptionV1 的图像识别网络里，找到一个神经元：它看到猫脸会兴奋，看到汽车的车头会兴奋，看到猫腿也会兴奋。这三样东西没有什么共同点，它只是同时干着三份毫不相干的差事。

这样的神经元叫“多义神经元”，在神经网络里很常见。它们让网络很难读懂：你没法指着一个神经元说，它代表什么。2022 年，Anthropic 公司的研究者用一个小得能看清每一步的模型，为这件事给出了一种解释。

一个两神经元的模型，记着五个特征 · 每根杆是一个特征，每条刻线是一个神经元

五样东西，两个数

这个模型很小。进去的是五个数，每个数是一个“特征”：要么没有，要么以某个强度出现。模型必须把它们挤过只有两个神经元的窄口，再在另一头还原出全部五个。

每个特征在两个神经元撑起的平面里分到一个方向，这里画成一根杆。如果让它在“五个特征总是同时出现”的数据上训练，它会做最稳妥的事：给最重要的两个特征各一整个方向，互成直角，其余三个干脆放弃。

东西少见，就能合住

现在让每个特征都变得少见：二十次里只出现一次。真实世界也是这样，任何一张图、一句话里，绝大多数东西都不在场。从头再训练一次。

这一次，五个特征全都留了下来。它们张开成一个五边形，彼此相隔大约 72 度，挤在一个只够放两个方向的平面里。论文把这叫作“叠加”。没有人让模型摆出五边形，是训练一步步找到了它。

代价：互相干扰

五个方向不可能在一个平面里两两垂直，所以每个特征都会往邻居那里漏一点。点亮一个特征：中间那颗亮点，是两个神经元此刻记着的两个数；前排五根玻璃管，是模型还原出来的五个特征。最后一步之前有一道门槛（ReLU 加上一个负的偏置）：负的泄漏变成零，正的小泄漏也被压小。

这招管用，是因为两样少见的东西很少同时出现。可一旦同时出现，模型就可能错得很自信：点亮两个方向几乎相反的特征，它们的信号互相抵消，模型两个都没认出来，反而报出了第三个根本不在场的特征。

立体的形状

给模型三个神经元和八个少见的特征，这些杆会安顿成一个“四方反棱柱”：上下两个正方形，彼此错开 45 度。六个特征则会两两相对，像正八面体的三条轴。

研究者一次又一次见到这类整齐的形状，也提醒说，这可能只是小模型的怪癖。能推广出去的是背后的道理：只要特征足够少见，网络能记住的特征就可以比神经元更多。

把特征拆出来

既然特征是叠着放的，也就可以把它们拆出来。“稀疏自编码器”只看神经元里的数，学出一组方向，让每一刻的数都能用尽可能少的方向拼出来。这里的白色细线就是一个在学习的稀疏自编码器：它从没被告诉特征是什么，却一根根转到了六个特征的方向上。

Anthropic 在 2023 年用这个办法拆一个真实的小模型（一层 512 个神经元，在研究得最细的一次里拆出 4096 个特征）；2024 年又拆了自家的大模型 Claude 3 Sonnet，最多拆出 3400 万个特征。其中一个特征专认金门大桥，不管是英文、别的语言，还是图片。把它调到最大值的十倍，模型开始说自己就是金门大桥。