|
广东益福蓄电池回收信息网，长期高价回收广州蓄电池回收,广州UPS蓄电池回收,广州废旧蓄电池收购,二手电瓶回收,二手铅酸蓄电池回收公司,二手电缆回收,二手空调回收,废纸回收,打印机回收,复印机回收,溴化锂中央空调,发电机回收,ups蓄电池回收,电脑回收,变压器回收等废旧物资回收服务，联系电话：18664666166，联系人：张先生 
由 ChatGPT 掀起的这场 AI 革命，令人们感慨神奇的同时，也不禁发出疑问:AI 究竟是应该做到这一切的? 此前，即便是专注的数据科学家，都难以解释大模型（LLM）运作的背后。而最近，OpenAI 似乎做到了——这周二，OpenAI 发表了其最新考虑:让 GPT-4去试着解释 GPT-2的行为。 即:让一个 AI “黑盒”去解释另一个 AI “黑盒”。
工作量太大，决定让 GPT-4去解释 GPT-2 OpenAI 之所以做这项思索的原因，在于近来人们对 AI 伦理与治理的担心:“语言模型的能力越来越强，部署也越来越广泛，但我们对其内部工作方式的理解依然极度有限。” 因为 AI 的“黑盒”性质，人们很难分辨大模型的输出结果是否采用了带有偏见性质的方法，也难以区分其精准性，因而“可解释性”是亟待关键的一个问题。 AI 的发展很大程度上是在效仿人类，因而大模型和人脑同样，也由神经元组成，它会观察文本规律进而影响到输出结果。所以想要商讨 AI 的“可解释性”，理论上要先了解大模型的各个神经元在做什么。 按理来说，这本应由人类手动检察，来弄清神经元所代表的数据特征——参数量少还算可行，可对于而今动辄百亿、千亿级参数的神经网络，这个工作量显然过于“离谱”了。 于是，OpenAI 灵机一动:或许，可以用“魔法”打败“魔法”? “我们用 GPT-4为大型语言模型中的神经元行为自动编写解释，并为这些解释打分。”而 GPT-4第一次解释的对象是 GPT-2，一个 OpenAI 宣布于4年前、神经元数量超过30万个的开源大模型。 让 GPT-4“解释” GPT-2的原理 具体来说，让 GPT-4“解释” GPT-2的流程，整体分为三个步骤。 （1）首先，让 GPT-4生成解释，即给出一个 GPT-2神经元，向 GPT-4出现相关的文本种类和激活情况，产生一个对其行为的解释。
如上图所示，GPT-4对 GPT-2该神经元生成的解释为:与电影、人物和娱乐有关。 （2）其次，再一次使用 GPT-4，模拟被解释的神经元会做什么。下图即 GPT-4生成的模拟内容。
（3）最终，比较 GPT-4模拟神经元的结果与 GPT-2真实神经元的结果，根据匹配程度对 GPT-4的解释进行评分。在下图浮现的示例中，GPT-4得分为0.34。
通过这样的方法，OpenAI 共让 GPT-4解释了 GPT-2中的307200个神经元，其中有不少解释的得分很低，只有超过1000个神经元的解释得分高于0.8。 在官博中，OpenAI承认现时 GPT-4生成的解释并不完美，相当在解释比 GPT-2规模更大的模型时，效果更是不佳:“也许是因为后面的 layer 更难解释。” 尽管绝大部分解释的得分不高，但 OpenAI 认为，“即使 GPT-4给出的解释比人类差，但也还有研发的余地”，将来通过 ML 技术可提升 GPT-4的解释能力，并提出了三种提升解释得分的方法: 值得一提的是，以上这些解释数据集、可视化工具以及代码，OpenAI 都已在 GitHub 上开源公布:“我们期许思量界能开发送新技术以生成更高分的解释，以及更好的工具来使用解释研讨 GPT-2。” （GitHub 地址:https://github.com/openai/automated-interpretability） “再搞下去，AI 真的要觉醒了” 除此之外，OpenAI 还提到了而今他们采取的方法有很多局限性，将来需要一一攻克: 在博文的最后，OpenAI 展望道:“我们冀望将我们最大的模型解释为一种在部署前后测评对齐和安全问题的方式。然而，在这些技术能够揭底不诚实等行为之前，我们还有很长的路要走。” 对于 OpenAI 的这个推敲成果，今儿在大陆外各大技术平台也触发了广泛关注。 有人在意其得分不佳:“对 GPT-2的解释都不行，就更不懂得 GPT-3和 GPT-4内部发生了什么，但这才是许多人更关注的答案。”有人感慨 AI 进化的方式愈发先进:“未来就是用 AI 完善 AI 模型，会加速进化。”也有人担心 AI 进化的将来:“再搞下去，AI 真的要觉醒了。” 那么对此，你又有什么观点呢? 模枋链接: https://openai.com/research/language-models-can-explain-neurons-in-language-models https://news.ycombinator.com/item?id=35877402 （举报） ChatGPT正版源码推荐：小狐狸ChatGPT付费创作系统完全开源源码 (责任编辑：admin) |
