Chao (chao)

最近AI领域发生了一系列相互关联的事件，核心都指向了一个趋势：跨地理位置的分布式大模型训练。这可能是去中心化AI很重要的一个时间节点。 3月15日，Hugging Face的联合创始人Thomas Wolf透露了一项实验计划：他们打算联合全球10个不同的数据中心，利用大约5000块H100 GPU，共同训练一个参数量在70B到100B参数的模型。这个实验的一个重要目的，就是验证跨地理位置进行大规模模型训练的可行性。 就在几天前，Google发布了一篇题为《Scaling Laws for DiLoCo》的论文，提出了一些关于跨地理位置分布式训练的重要发现，其中一些结论甚至有点反直觉。 再之前的3月1日，Prime Intellect 宣布获得了 1500万美元融资，由Founders Fund领投，Menlo Ventures，以及 Andrej Karpathy、Clem Delangue (Hugging Face)、Dylan Patel (SemiAnalysis)、Tri Dao (Together.AI) 等AI圈大牛也参与了这轮投资。 接下来讲下这几个消...

• 1 reply
• 1 recast
• 4 reactions

每一个历史性时刻，都是无数微弱信号聚合成的涟漪。这不是终点，而是通往远方的下一站。

• 1 reply
• 0 recasts
• 4 reactions

• 1 reply
• 0 recasts
• 6 reactions

不小心写长了，Warpcast不能搞长文，只能弄个图了。

• 5 replies
• 0 recasts
• 18 reactions

互联网时代的本质是信息变的更便宜，形式也更多样。这种信息获取能力的革命性变化，重构了整个世界。 AI时代的本质是智能变的更便宜，能力变的更好，这个世界也将因此将再一次被重构。 加密时代的本质是信任变的更便宜，更强壮。信任是人类社会运行的基础，但在过去构建信任是困难且昂贵的。 加密和AI会融合，因为人们需要能够信任的模型，人们需要能够信任的Agent，人们也需要相信自己的隐私得到保护，数据得到了妥善使用。Agent也需要和自己交互的另一个Agent或人类值得信任，需要友好可信赖的金融体系，需要自己每一天交互中的服务不会无缘无故被关闭，需要自己的生命线-算力不被切断，钢铁侠的J.A.R.V.I.S.一定不会选择一个能随时自己拔网线的算力提供方。 但AI领域中过多的信任正在或即将被赋予无法承担如此重任的个人和组织或者机制。

• 2 replies
• 0 recasts
• 14 reactions

一张可视化的历史长卷，一个极有启发性的研究，编织了五个世纪的重要技术发展，揭示了技术与社会结构之间复杂的共生演变。 在加密和AI即将大规模改造这个社会前时，审视历史中技术与权力的纠葛很有必要。 https://calculatingempires.net/

• 0 replies
• 0 recasts
• 13 reactions