“预测即压缩,压缩即智能”。从神经科学的角度来看,人脑依然远远超过当前的大型语言模型(LLM)。尽管 LLM 的参数和连接数达到数万亿,但仍无法与人脑的复杂性相提并论。人类大脑的进化依赖于选择和投注机制,以较低的容量实现更高效的信息处理。人工智能的注意力机制主要是基于算法和模型来实现的,虽然在功能上与人类的注意力机制有相似之处,但在实现原理和灵活性上存在显著差异,例如对定性描述词的理解。当前 AI 的局限性或在于其学习效率的低下,而非数据不足。真正的智能不仅是数据量的堆积,而是在于对信息的压缩和提炼,类似于通过总结第一性原理的方式获取更深层次的智能。