Goodfire 研究员称神经网络本可读懂,引发 AI 圈激辩
Goodfire 研究员 Nick Cammarata 发布 26,000 字长文,提出 LLM 可能比此前认为的更容易理解、监控和控制,并以 Inception v1 中同时响应猫与车的神经元为例,认为两者共享 V 形结构,此前被误读为 superposition。
Goodfire 研究员 Nick Cammarata 发布 26,000 字长文,提出 LLM 可能比此前认为的更容易理解、监控和控制,并以 Inception v1 中同时响应猫与车的神经元为例,认为两者共享 V 形结构,此前被误读为 superposition。
斯坦福大学博士生Samuel King用生成式AI模型提出微型病毒的遗传蓝图,这还不是AI生成生命的实例,但可能是下一步。MIT Technology Review资深AI记者James O'Donnell就此采访了King,话题还包括他入选Innovators Under 35以及观察生物学的新方式。
自适应并行推理让模型自行决定何时分解并并行化子任务、开启多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由模型外部设定,不随问题难度调整。文章梳理该领域进展,指出不同问题需要不同并行度。