冗余很重要，这句话极富哲理

丁丁 • 2024 年 3 月 11 日 21:15 • 世界观

@阑夕：Meta 的首席科学家、「图灵三巨头」之一的杨立昆一直是 AGI 降温论的主张者，他的最近一场播客里完整的讲述了他的判断思路：

语言是低带宽的，平均每秒的接收量差不多是 12 个字节，一个标准的大模型训练量是 2×10 的 13 次方字节起步，相当于一个人要花 10 万年才能读完的文本。

看起来很多，但实际上视觉的传输速率是每秒 20MB，达到了语言带宽的 1600 万倍，一个 4 岁孩子所看到的信息总量，就比最大的大模型能够从互联网上进行训练的公开文本多了 50 倍。

这意味着三件事情：

1、冗余很重要，未必每个视觉神经都是有效的（你看到的大多数画面其实都不会记得），但从训练来说，冗余是自我学习的条件，冗余越多，越能接近世界全貌；

2、大部分的人类知识来自我们对于物质的感官体验，语言只是锦上添花，我们需要蛋糕来支持糖衣；

3、如果不能为机器充分提供高带宽的学习条件，达到人类水平的 AGI 是不可能做到的。

以及是的，人类可以在看不到的情况下也能发展智能，甚至在看不到也听不到的情况下也变得相当聪明，但没有触觉是不可能的，触觉也是一种高带宽的能力。

如若转载，请注明出处：https://www.zhangzs.com/493064.html

躲汉子是啥梗？