特别专题：庆祝新年的开放式探讨。欢迎迎来 2024 年！是的，我明白！虽然我说过要短暂休息，但新年的到来怎能错过呢？这毕竟是新的一年，为了纪念图灵！为了开启 2024 年的同时，继续我缓慢前进的承诺，我想与您分享一些精彩内容。回顾去年的文章积累，我找到了三篇我们人数还不多时分享的精华文章，它们都围绕着通用人工智能（AGI）的概念。它们是对我们年终回顾的完美补充，因此我决定将它们整合并稍作修改。因此，在这个特别专题《大多无害》中，我将带您深入了解 AGI，探讨为什么我们还未达到那个阶段，当前理论和实践中缺失的关键要素是什么，以及我们该如何继续前进。作为新年的特别礼物，这篇文章我将完全公开，敬请享用。
January 1, 2024
View Article简述如何以可扩展的方式把大语言模型（LLMs）从原型提升至高性能。本博客内容源自于在 OpenAI DevDay 会议上由 Colin Jarvis 和 John Allard 所做的精彩演讲。
January 1, 2024
View Article在我的职业生涯中，我经常遇到这样的场景：与客户合作，从战略层面策划大型、复杂、分阶段的项目。这些项目往往涉及多个内外部团队。在这个策划阶段，我的目标之一是制定出一个明确的 RACI 责任分配。通常，项目的主要责任归客户所有（毕竟，他们是实现目标 X 的主体）；然而，次要责任常常需要与第三方共担。这里的“第三方”指的是项目所属公司之外的任何团队。
January 1, 2024
View Article乔布斯还说过：最优秀的员工通常也是最难管理的。
January 1, 2024
View Article如何真正理解他们的需求
January 1, 2024
View Article本文讲述了为什么不确定性是创新工作中不可或缺的一部分，以及在不确定性的背景下，什么是“生成性”，设计生成性不确定性的三大原则是什么，以及这些原则如何具体实施。
January 1, 2024
View Article2023 年是大语言模型（LLMs）取得重大突破的一年。将这些模型称为 AI 是恰当的——它们是目前人工智能学术领域最新、最引人注目的发展，而这一领域的历史可以追溯到 20 世纪 50 年代。下面是我尝试汇总的一些年度亮点！
January 1, 2024
View Article我对低代码持怀疑态度。
December 31, 2023
View Article今年的感觉特别不同。我已经在机器学习和人工智能领域工作、研究和实践了十多年，但我从未见过像今年这样，这些领域如此受欢迎且发展迅速。为了总结 2023 年在机器学习和人工智能研究领域充满事件的一年，我非常兴奋地与大家分享我今年阅读过的十篇引人注目的论文。我的个人研究重点更倾向于大语言模型（Large Language Model, LLM），因此你会发现，我选的论文中，大语言模型的比计算机视觉的要多。
December 31, 2023
View Article探究谷歌是如何运用混合方法研究、日志记录等手段来评估开发者生产力的。
December 31, 2023
View Article尽管人工智能 (AI) 在工作场所逐渐取代以人为核心的优势，但这种优势是短暂的。要实现持久的竞争力，关键在于将 AI 强大的计算能力与人类的判断力相结合。Louis-David Benyayer 和 Howard Zhong 指出，企业必须整合人力与技术资源，创建既融合 AI 技术又结合人类技能的新岗位。这需要投资于技术、人才和朝向协作、多功能的文化转型。
December 31, 2023
View ArticleMeta 对 ActivityPub 和 Mastodon 突然展现出的兴趣，乍看之下似乎难以理解。在 Fediverse 社交圈中，一些看似牵强的观点频频出现，每一个都试图解释 Meta 这一异常之举。但我对这些解释持怀疑态度。这背后肯定是一个经过多年筹划的计划。我们正实时见证着 Meta 面临的最大挑战。
December 31, 2023
View Article近几年，大型预训练语言模型（LLMs）展示出了按照指令行动和利用少量样本完成新任务的能力。这种通过上下文示例对大语言模型进行参数设置的方式，不仅增强了其功能，而且成本远低于微调（finetuning）。我们在这个思路基础上进一步发展，提出了一种新方法：将大语言模型嵌入到一个算法或程序中，从而扩展其能力。为了证明这种方法的有效性，我们展示了一个基于证据的问答示例。这种更注重算法的方法使我们在不进行任何微调的情况下，比传统思维链方法提高了 6.4% 的性能。此外，我们还回顾了这个领域的最新研究，探讨了这种方法与传统方法相比的优势与不足。
December 31, 2023
View Article我们认为 Jaynes 的论述十分清晰，这本书极具价值，但它更适合研究生物理学的读者。它填补了统计学、数学、因果理论和科学哲学之间的空白，提供了关于如何理解世界和面对不确定性的实际教训。在这里，我们试图提供一篇评论，分享书中的核心思想，并省略所有复杂的数学公式和推导过程。这本书大致由两部分组成：一半是高级数学，另一半是即便没有数学背景也能理解的精彩故事和见解。它包含丰富的内容，而这篇评论仅覆盖了前六章，介绍了概率论的基本概念和问题。
December 31, 2023
View ArticleICFO 的研究人员在阿秒级软 X 射线光谱学方面取得的进步，极大地改进了对材料的分析，特别是在研究光与物质的相互作用和复杂的多体动力学方面，为未来技术的应用开辟了新的可能性。
December 31, 2023
View Article在那个人们普遍认为“自动驾驶汽车还有半年就能面市”的美好时光里，你可能遇到过这样的论点：“如果自动驾驶汽车能够运行，那么它们将比人驾驶的汽车更安全。”这听起来没错。但如果你所说的“它们能够运行”是指它们在包括安全性在内的多方面都优于人类驾驶的汽车，那么，果然，如果它们能运行，它们就会比人类驾驶的汽车更安全。这其实是一种逻辑上的循环论证。不幸的是，技术界充满了这类诡辩，尤其是在 AI 领域。
December 30, 2023
View Article初级软件开发人员 (junior software developers) 正面临一个充满挑战的就业市场。远程工作的广泛普及、大量裁员以及人工智能 (AI) 的崛起为这一行业的新入行者带来了不少难题。以下内容介绍了如何帮助这些初入行的新人在职场上茁壮成长。
December 30, 2023
View Article上周，美国钢铁公司宣布将被日本的日本制钢公司收购。这一转折点让我们有机会回顾一下这家曾是美国乃至世界上最大、最重要的公司是如何逐渐走向衰落的。在收购消息公布之前，美国钢铁的市值大约为 80 亿美元，连进入《财富》杂志的 500 强都不够（排在大约第 690 位，比 Texas Roadhouse 连锁餐厅还要低）1。自成立以来，这家公司的市场份额和影响力一直在缓慢但稳定地下降。1901 年成立时，它不仅是世界上最大的公司，还生产了美国近三分之二的钢铁。而今天，它的钢铁产量只占美国的 12%，大约只有 1955 年的三分之一，而且雇员人数与在线宠物用品零售商 Chewy 相当。这家曾经的工业巨头是怎样一步步走向衰落的呢？让我们来探究一下。
December 30, 2023
View Article在谷歌，我们常被请求协助团队衡量各种开发者工具和流程对生产力的具体影响。这通常体现为一些团队开发了新的开发者工具，希望证明这些工具能够提升开发者的工作效率。
December 30, 2023
View Article彭博观点的技术专栏作者通过翻阅纸质书籍来更好地理解数字革命的深远影响。在这种情况下，最好是退一步，慢慢吸收信息，思考未来可能面临的情况。2024 年之际，我们的技术专栏作者想分享他们在过去一年里阅读或重读的书籍，这些书籍帮助他们构建思考框架。Dave Lee 是彭博在纽约的美国技术专栏作家，而 Parmy Olson 则从伦敦报道人工智能和科技行业。
December 30, 2023
View Article我使用了私有和公开的大语言模型来回答一个我在大约 30 年前花费了一个星期时间研究的本科论文问题。目的是探究在这些年里，使用这些工具是否会改变我的学习体验。结果发现，这次借助 AI 的体验在某些方面与以往大相径庭，而在其他方面则有所相似。
December 30, 2023
View Article到目前为止，AI 在科学领域最大的成就莫过于 AlphaFold 2 系统。这是一个深度学习系统，它在解决一个基础科学难题上取得了巨大进步：从蛋白质的氨基酸序列预测其三维结构。这一重大突破促进了分子生物学领域深度学习革命的持续进行。这不仅对分子生物学家来说意义重大，而且我认为它对整个科学领域都极具意义，因为它是一个具体的实例，展示了人工智能如何影响科学发现。在这个简短的报告中，我将探讨几个问题：如何验证这样的系统？它们能否帮助我们找到人类科学家可以学习的普遍原则？一个优秀的理论或解释应该包含哪些内容？本次讲座主要关注现有成果和近期发展，而非长远未来。然而，我希望它能帮助我们更好地理解未来的长期走向，以及 AI 系统所带来的好处和风险。
December 30, 2023
View Article随着生成式 AI 的兴起，开发者们对于自动化解决问题的热情愈发高涨。这种趋势很可能将代码的创建、维护和改进推向一个崭新的高度。
December 29, 2023
View Article如果你只是通过免费的网页或移动应用接触 OpenAI 的 ChatGPT，那你可能还未充分挖掘出 ChatGPT 的全部潜力。通过使用价格低廉的付费 ChatGPT API，你可以对输出结果进行更加深入的控制。例如，我想为这篇博客文章生成一个包含分类和 SEO 关键词等有用元数据的摘要。我将这篇博客的文本和一个指令输入给 ChatGPT：
December 29, 2023
View Article本文介绍了 26 个专为简化向大语言模型（Large Language Model）提问和设置提示的原则。我们旨在让研究者更容易理解如何针对不同规模的大语言模型提出问题，评估其能力，并了解这些模型在面对不同提示时的反应。我们在 LLaMA-1/2（容量分别为 7B、13B 和 70B）和 GPT-3.5/4 上进行了广泛实验，验证了这些原则在设计指令和提示时的实用性。我们希望这项研究能为那些致力于提高大语言模型响应质量的研究人员提供实用的指导。
December 29, 2023
View Article看到这个标题，你可能会想：“没错，Robb，网络[1] 自然是奇妙的，它毕竟是现代世界所有商业和通信活动的核心”。或许你并不这样认为。但我要说的不仅仅是整个互联网，而是指那些开放的网络。那些鼓励你使用它们的 API 去创造新奇事物的网络。那些拥有开放标准的网络。就像独立网络那样。
December 29, 2023
View Article让用户接受一款新产品总是充满挑战。对我们来说，经历了 7 次失败的尝试后，第 8 个版本的产品 - Jam（一个用于创建带有自动开发日志的 bug 报告的浏览器扩展）终于成功了！在 2023 年，Jam 的使用量增长了 10 倍，创建的 Jams 超过了 100 万个。今年我学到了很多关于如何打造成功产品的知识。归根结底，这依赖于团队、代码和用户反馈。
December 29, 2023
View Article代码为构建复杂程序和执行精确计算提供了一种通用的语法结构。当与代码解释器 (interpreter) 配合使用时，我们推测，语言模型 (LMs) 能够通过编写代码来增强“思维链条 (Chain of Thought)”式的推理。这不仅适用于逻辑和算术任务\[ 5 , 26 , 1 ]，也适用于语义任务，特别是逻辑与语义相结合的任务。例如，如果让一个语言模型编写一个检测文章中讽刺次数的代码，它可能难以编写一个可以被解释器执行的“detect\_sarcasm(string)”函数（处理边缘情况会非常困难）。然而，如果语言模型不仅编写代码，还能模拟解释器的行为，通过生成“detect\_sarcasm(string)”及其他无法执行的代码行的预期输出，它仍有可能找到有效的解决方案。在本研究中，我们提出了“代码链 (Chain of Code, CoC)”方法，这是一个简单但效果惊人的扩展，用于改进基于代码的语言模型推理。其核心思想是鼓励语言模型将程序中的语义子任务格式化为伪代码 (pseudocode)，使解释器能够明确地捕获未定义行为，并由语言模型（作为一个“LMulator”）模拟。实验显示，“代码链”在多个基准测试中都优于“思维链条 (Chain of Thought)”和其他基准线；在 BIG-Bench Hard 测试中，“代码链”达到了 84% 的成绩，比“思维链条”高出 12%。CoC 适用于大型和小型模型，扩展了语言模型通过“用代码思考”正确回答推理问题的范围。
December 29, 2023
View Article最近有人问我，对于刚入行的程序员有什么建议。一开始，我觉得这问题有点儿可笑。毕竟，我才工作十年，而我的一些订阅者编程的经历甚至比我这辈子还长！后来，我读了些“给新手程序员的建议”文章，发现他们漏掉了不少东西。因此，我整理了十三条给新手程序员的建议，虽然有些看起来似乎互相矛盾。
December 29, 2023
View Article“不要仅在单体架构和微服务架构之间选择，更重要的是根据团队能承受的最大认知负荷来设计软件。”如果你的组织只有一个团队，那么应考虑调整架构以适应团队的能力。优先选择单体、紧密联系、模块化的架构。如果你的组织有多个团队，可以考虑采用微服务或类似的架构，以便各团队能够独立工作。认知负荷并非都相同。不同类型的认知负荷会影响团队交付高质量成果的能力。组织应该尽力减少或消除内部和外部的认知负荷，确保团队主要面对与工作直接相关的认知负荷。单个团队与多团队架构的沟通边界差异很大。单个团队更适合通过代码库、文档、讨论和设计会议进行沟通。而多团队架构则更适合通过精心设计的 API（或库）来沟通，这些 API 可以简化他们各自领域的复杂性。
December 29, 2023
View Article今天，许多人预期另一场革命，这次是与生成式人工智能（AI）的发展相关联的。和过去一样，当今大众对这项技术既感到敬畏又感到恐惧。高盛银行预测，生成式 AI 可能在十年内使全球 GDP 增长 7%。一些经济学家如今谈论“爆炸性增长”，而其他人预言，不久后将有数以百万计的工作岗位消失。然而，拖拉机的经济历史让人对这些预测产生了疑问。纵观历史，拖拉机的确对人们的生活产生了巨大影响，但它是悄然无声地征服世界，而非一鸣惊人。
December 28, 2023
View Article当能源、智力和劳动成本极低时，会发生什么？
December 28, 2023
View Article近期研究将语言模型与外部工具或环境结合起来，发展出能够进行推理和行动的“语言智能体”。尽管如此，大多数这类智能体仍依赖少量样本的提示技巧和现成的大语言模型。在这篇文章中，我们研究并强调了一个被忽略的方向：通过微调大语言模型来创建更高效的语言智能体。通过结合谷歌搜索 API 的问答系统，我们测试了多种基础的大语言模型、提示方法、微调数据集和问答任务。结果表明，通过对这些模型进行微调，语言智能体的表现显著提升。例如，使用 GPT-4 生成的 500 个智能体操作轨迹来微调 Llama2-7B 模型，使其在 HotpotQA 任务上的表现提高了 77%。此外，我们提出了一个名为 FireAct 的新方法，通过使用来自多种任务和提示方式的操作轨迹来微调语言模型，实验表明这种多样化的微调数据可以进一步提升智能体的性能。我们的研究不仅展示了微调大语言模型在构建智能体时的广泛优势，还提供了一系列实验设计、见解和有关如何微调语言智能体的开放性问题。
December 28, 2023
View Article对软件开发者来说，学习是必不可少的。技术领域的变化不断：新技术层出不穷，老技术也在不停地更新。因此，开发者们不是仅仅学习编程一次就够了——在他们的职业生涯中，他们需要掌握许多新的编程语言和框架。
December 28, 2023
View Article免费开源替代品探索指南：寻找 GPT-4 Vision 的替代方案
December 27, 2023
View ArticleAider 现在让 GPT-4 Turbo 采用统一差异来编辑代码。这大幅提升了 GPT-4 Turbo 在全新且富有挑战性的基准测试中的表现，并显著减少了它在编程时倾向于写出像“...在此添加逻辑...”这类注释的惰性。
December 27, 2023
View Article数据瓶颈、泛化性能评估、灵长类进化、智能作为信息压缩、世界建模者及其他重要议题
December 27, 2023
View Article今年，我亲身见证了人工智能 (AI) 实时地改变着世界。从发生的一切来看，我坚信未来几年将是人类历史上最具变革性的时期。下面是 2023 年人工智能的重要时间线（1 月至 12 月）
December 27, 2023
View Article福布斯 2024 年 AI 领域的 10 大预测
December 27, 2023
View Article语言模型攻击通常基于两种极端的假设：一是完全掌握模型权重的“白盒”访问模式，另一是只能通过文本生成接口进行的“黑盒”访问。然而，现实中的 API 通常比单纯文本生成功能更加灵活，它们提供了介于两者之间的“灰盒”访问方式，这也带来了新的安全隐患。我们对 GPT-4 API 新增的三项功能——微调 (fine-tuning)、函数调用 (function calling) 和知识检索 (knowledge retrieval) 进行了安全性测试。结果显示，仅用最少 15 个有害示例或 100 个无害示例对模型进行微调，就足以破坏 GPT-4 的核心安全措施，导致一系列有害的输出。此外，我们还发现 GPT-4 AI 智能体能够轻松泄露函数调用的细节，并且可以被操纵执行任意函数调用。最后，我们注意到，通过向检索文档注入指令，可以干扰知识检索过程。这些漏洞表明，API 功能的任何增强都可能带来新的安全风险。
December 27, 2023
View Article从提示工程到提示架构
December 27, 2023
View Article从提示设计到智能体流程
December 27, 2023
View Article作为生成式 AI 软件的典型代表，ChatGPT 模仿人类的效果非常惊人。它象征着研究领域的一个可能的新纪元，但同时也伴随着风险。
December 27, 2023
View Article三周前，我们发布了 OpenGPTs——一种基于开源理念实现的 OpenAI GPTs 和 Assistant API。OpenGPTs 能够构建对话型 AI 智能体，这是一种既灵活又前瞻性的技术架构。在这些智能体中，记忆扮演着至关重要的角色。目前，无论是 GPTs、OpenGPTs 还是 Assistants API，它们都仅仅支持基础的对话记忆功能。而长期记忆则是一个尚未深入探索的领域。在本篇博客中，我们将简要探讨我们对记忆的看法，分析为何这一领域研究不足，然后展示我们如何在 OpenGPTs 中实现并应用特定记忆机制，打造出一位“龙与地下城”游戏的地牢主。
December 27, 2023
View Article本文全面研究了高级检索增强式生成技术 (RAG) 及其算法，系统地整理了各种方法。文章中还包含了我知识库中与提到的各种实现和研究相关的链接集。
December 26, 2023
View Article作为一名开源软件开发者，我经常思考如何改善软件。这是必然的：在 Stack Overflow、GitHub 的问题反馈和 Slack 提醒，以及电子邮件和直接信息中，有源源不断的求助。幸运的是，你也会看到有人成功并创造出令人惊叹的成果，这超出了你的想象。知道自己的帮助起到了作用，这成了我不断前行的强大动力。
December 26, 2023
View Article2023 年是 AI 领域的关键年份，我们在此聚焦今年对该行业未来发展具有重大影响的主要事件
December 26, 2023
View Article虽然你可能不认识我，但我和你一样，是那 0.01% 中的一员，一个自豪且坚定的资本家。我创建或参与创建了超过 30 家公司，涉及从小型夜总会到像 Amazon.com 这样的大型企业。我是 Amazon.com 的首位非家族投资者。此后，我创立了互联网广告公司 aQuantive，并于 2007 年以 64 亿美元现金卖给了 Microsoft。我和我的朋友们还拥有一家银行。我这么说，是想告诉你，在许多方面我和你并无二致。我和你一样，对商业和资本主义有着广阔的视野。同你一样，我也因为自己的成功而获得了超乎寻常的回报，过上了其他 99.99% 美国人难以想象的生活：拥有多处房产、私人飞机等等，你肯定明白。回到 1992 年，那时我还在为家族的 Pacific Coast Feather Co. 向全国各地的零售店销售枕头，互联网还只是一个连接时伴随着刺耳声响的新鲜事物。但我很快就意识到，许多我的大型百货客户已注定要失败。我知道，一旦互联网变得更快、更可靠——那一天并不遥远——人们肯定会热衷于在线购物。于是，Caldor、Filene’s、Borders 等等，一个个告别了时代舞台。
December 25, 2023
View Article“助手型”AI 智能体负责核查文献、阅读设备说明书，以及准备化学实验。
December 25, 2023
View Article尽管人工智能 (AI) 在工作场所逐渐取代以人为核心的优势，但这种优势是短暂的。要实现持久的竞争力，关键在于将 AI 强大的计算能力与人类的判断力相结合。Louis-David Benyayer 和 Howard Zhong 指出，企业必须整合人力与技术资源，创建既融合 AI 技术又结合人类技能的新岗位。这需要投资于技术、人才和朝向协作、多功能的文化转型。
December 25, 2023
View Article