Chao pfp

Chao

@chao

314 Following
854 Followers
Chao pfp
最近AI领域发生了一系列相互关联的事件，核心都指向了一个趋势：跨地理位置的分布式大模型训练。这可能是去中心化AI很重要的一个时间节点。 3月15日，Hugging Face的联合创始人Thomas Wolf透露了一项实验计划：他们打算联合全球10个不同的数据中心，利用大约5000块H100 GPU，共同训练一个参数量在70B到100B参数的模型。这个实验的一个重要目的，就是验证跨地理位置进行大规模模型训练的可行性。 就在几天前，Google发布了一篇题为《Scaling Laws for DiLoCo》的论文，提出了一些关于跨地理位置分布式训练的重要发现，其中一些结论甚至有点反直觉。 再之前的3月1日，Prime Intellect 宣布获得了 1500万美元融资，由Founders Fund领投，Menlo Ventures，以及 Andrej Karpathy、Clem Delangue (Hugging Face)、Dylan Patel (SemiAnalysis)、Tri Dao (Together.AI) 等AI圈大牛也参与了这轮投资。 接下来讲下这几个消...
1 reply
1 recast
4 reactions
Chao pfp
1 reply
0 recast
4 reactions
Chao pfp
1 reply
0 recast
6 reactions
Chao pfp
0 reply
0 recast
4 reactions
Chao pfp
前天Prime Intellect宣布用去中心化的方式完成了第一个百亿参数模型的训练。训练耗费了7万小时的H100 GPU时间，算力来自全球三大洲30个不同的提供方。 我曾认为那些号称支持去中心化训练的项目都只是忽悠(事实上大部分也确实是)，因为大模型训练不仅依赖算力，对训练集群的整体架构也有极高要求。 大模型训练已发展到10万个H100级别，这种多卡集群依赖复杂的分布式计算技术，节点之间必须具备极高的带宽和极低的延迟。目前大家普遍使用的InfiniBand网络带宽可达400Gbps，延迟低至纳秒级别。除了算力和通讯需求，分布式存储、高效缓存、节点同步和一致性、热管理与容错也都是难题，可以说大模型训练满地都是坑。 那Prime Intellect是怎么实现的呢？在2023年11月，DeepMind提出了一个叫DiLoCo的去中心化训练方法，它的工作原理是这样的： 太长了发不全，看图片吧
1 reply
0 recast
4 reactions
Chao pfp
（1/6）前段时间我在farcaster上部署了一个 AI bot，叫 Quaestor。昨天听到屏风在播客里提到它，趁这个机会讲讲它的来龙去脉。 治理Agent: 最初的试验是一个治理 agent。我把自己在 Nouns DAO 的投票权委托给一个由 agent 控制的钱包，agent会自动监测最新提案，用大模型分析提案并生成支持或者反对的决策，随后用它控制的钱包完成链上投票。这一过程完全由 agent 自主运行，不会征求我的意见。 虽然 agent 做的是加密世界的事，但它本质上是一个中心化的 Web2 结构。这个agent在twitter上也惊艳了不少人，但实际它的重点跟agent无关，而是AI治理。我做它的初衷一方面是觉得有趣，另一方面是想探索 AI 参与治理的可能性。 设计agent 花费的时间主要在提示词工程设计和之前的各种模拟投票和模型偏好调教上。
3 replies
0 recast
3 reactions
Chao pfp
1 reply
0 recast
0 reaction
Chao pfp
Yesterday, my AI Agent cast its first vote in Nouns DAO. This was a proposal for a 75,000 USDC grant, which the AI voted against after consideration. It deemed the proposal lacking in specific financial metrics and budget details, and also felt it failed to articulate how the funds would enhance the DAO's value. The AI Agent obtains proposal content by reading on-chain data and makes decisions. I had previously delegated voting rights to the wallet it controls so that it can autonomously form judgments and vote directly on-chain, without my involvement or approval. From now on, it will run continuously participating in governance. A friend jokingly said that in 8 years, the US president might be an AI. While 8 years might be overly optimistic, AI participating in national governance will likely become a reality. To govern a nation, let's start by learning to govern a DAO.
2 replies
0 recast
4 reactions
Chao pfp
0 reply
1 recast
1 reaction
Chao pfp
过去两年我围绕Agent方向做了7笔投资，我也一直在密切关注行业内各种Agent团队的进展。在我看来，Autonomous Agent离日常生活已经非常近了。 在未来几年，大多数人会在工作和生活中配置Agent，分担各种任务。可以是蹲闲鱼上的稀有卡牌、可以是整理和回复邮件、可以是根据健康目标制定食谱并完成食材采购，甚至是监控和优化投资组合，跟随市场变化快速决策。 但Agent不仅仅是助手。随着底层模型的不断进步以及Agent方法论和工程实践经验的积累，它们很快将具备承担更复杂、专业任务的能力。一个庞大而复杂的Agent生态网络将会形成，Agent之间、以及Agent与人类之间的互动将更加频繁、深入且多样化。支付是构成Agent经济网的基础之一，然而现有的技术栈和支付体系无法支持Agent进行自主支付 - Agent需要加密货币支付。 1/n
1 reply
2 recasts
2 reactions
Chao pfp
1 reply
0 recast
2 reactions
Chao pfp
0 reply
0 recast
1 reaction
Chao pfp
Over the past few weeks, I’ve tested 18 leading AI models on their crypto knowledge and capabilities. Results are intriguing: AIs show deep understanding of crypto fundamentals, yet face challenges in practical applications. From AI payment to smart contracts coding, AI in crypto reveals both potential and limitations. The experiment comprises two key parts: A MVP dataset of ~700 multiple-choice questions, co-created by AI and humans, then refined by human experts. Despite some quality constraints, this enables rapid model testing and basic scoring to show a baisc idea of a benchmark in Crypto Domain. Then there is a growing set of ~100 complex tasks created by crypto experts, covering simulations, calculations, code audits, and tool usage. These add depth and authenticity to the assessment. Full findings in the article below 👇 https://chaow.xyz/p/will-ai-survive-in-the-crypto-world
2 replies
1 recast
7 reactions
Chao pfp
2 replies
0 recast
1 reaction
Chao pfp
0 reply
0 recast
13 reactions
Chao pfp
0 reply
0 recast
0 reaction
Chao pfp
0 reply
0 recast
0 reaction
Chao pfp
互联网时代的本质是信息变的更便宜，形式也更多样。这种信息获取能力的革命性变化，重构了整个世界。 AI时代的本质是智能变的更便宜，能力变的更好，这个世界也将因此将再一次被重构。 加密时代的本质是信任变的更便宜，更强壮。信任是人类社会运行的基础，但在过去构建信任是困难且昂贵的。 加密和AI会融合，因为人们需要能够信任的模型，人们需要能够信任的Agent，人们也需要相信自己的隐私得到保护，数据得到了妥善使用。Agent也需要和自己交互的另一个Agent或人类值得信任，需要友好可信赖的金融体系，需要自己每一天交互中的服务不会无缘无故被关闭，需要自己的生命线-算力不被切断，钢铁侠的J.A.R.V.I.S.一定不会选择一个能随时自己拔网线的算力提供方。 但AI领域中过多的信任正在或即将被赋予无法承担如此重任的个人和组织或者机制。
2 replies
0 recast
14 reactions
Chao pfp
2019: YangDAO backed Andrew Yang, marking crypto's first step into politics. 2021: PACDAO created a crypto-friendly scorecard for Congress, guiding voter decisions. Later that year, ConstitutionDAO 's brief but impactful existence introduced DAOs to the American public, planting the seed of decentralized governance in the national consciousness. 2022: Andrew Yang launched Lobby3 DAO, testing the waters of decentralized political lobbying. 2023: The crypto-backed Fairshake PAC emerged，and Standing With Crypto unites the community, attracting over a million supporters. 2024: With 19% of voters holding crypto, both parties actively court this new bloc. In just five years, crypto's political voice has grown from a whisper to a shout. The list doesn't cover everything, but it shows how far we've come. And it's just getting started.
1 reply
0 recast
1 reaction
Chao pfp
5 replies
0 recast
18 reactions