GitHub 链接:https://github.com/cpacker/MemGPT
伯克利的 Sky Computing Lab 由著名教授兼 Databricks 联合创始人 Ion Stoica 领导,是 RISELab 和 AMPLab 的接班人,后两个实验室催生了 Anyscale、Databricks 和 SiFive 等公司。尤其是 Sky Lab,它催生了许多流行的开源大型语言模型(LLM)项目,例如 Gorilla LLM、vLLM 和 LLM 结构化语言 SGLang。
项目主页:https://memgpt.ai/
MemGPT 令人兴奋的原因在于 —— 它的目标是解决大语言模型(LLM)的一个痛点:在其原生形式中,像 GPT-4 这样的模型是无状态的,这意味着它们不会将历史数据存储在长期记忆中。这对于需要随着时间推移逐渐了解和学习用户的 AI 应用来说是个大问题 —— 从客户支持机器人到医疗保健症状跟踪应用,很多潜在的 AI 应用需要我们让大模型拥有「长期记忆」。而 MemGPT 管理数据和内存,以便大模型 Agent 和聊天机器人能够记住以前的用户和对话。
Packer 回忆说,MemGPT 论文的帖子在 Y Combinator 运营的网站 Hacker News 首页上停留了 48 小时,他花了几天时间在网站上回答问题,同时准备发布代码。MemGPT 项目在 GitHub 上发布后,其链接再次在 Hacker News 上疯传。YouTube 上的采访和教程、Medium 帖子、1.1 万个星标和 1.2K 个 Fork 迅速涌现。VC Felicis 的 Myers 也在阅读有关 MemGPT 的文章时发现了 Wooders 和 Packer,并立即意识到该技术的商业潜力。
虽然 MemGPT 去年就已投入使用,但 Letta 的商业版本 Letta Cloud 尚未开放。截至周一,Letta 正在接受测试版用户的请求。它将提供托管代理服务,允许开发人员在云平台上部署和运行有状态智能体,可通过 REST API(一种可以维护状态的编程接口)访问。Letta Cloud 将存储这样做所需的长期数据。Letta 还将提供用于构建 AI 智能体的开发人员工具。
Wooders 看到了 MemGPT 的广泛用途。「我们看到的头号用例是高度个性化、非常吸引人的聊天机器人,」她说。但也有前沿用途,如「癌症患者的聊天机器人」,患者上传他们的病史,然后分享持续的症状,这样 AI 就可以学习并随着时间的推移提供指导。值得注意的是,MemGPT 并不是唯一一家致力于此的公司。LangChain 可能是其最知名的竞争对手,它已经提供了商业选项。大模型的龙头公司也在提供智能体工具,例如 OpenAI 的 Assistants API。OpenAI 的 o1 新模型可能会让用户不再需要修复状态。由于它是一个多步骤模型,因此它从根本上必须在一定程度上保持状态,以便在回复之前「思考」和核实事实。但 Wooders、Packer 和 Myers 认为 Letta 提供的产品与 OpenAI 存在一些关键差异。Letta 声称它可以与任何 AI 模型配合使用,并期待其用户使用其中的许多模型:OpenAI、Anthropic、Mistral 以及他们自研的大模型。OpenAI 的技术目前仅适用于其自身。
更重要的是,Letta 正在使用开源 MemGPT 项目,并坚定地站在开源阵营一边,并认为开源是 AI 应用的更好选择。