AWS × 伯克利开源 Infinity:工具调用即挂起,号称 8GB 塞 7.5 万空闲 Agent
AWS Open Source 与 UC Berkeley Hydro 项目 10 月 23 日以 Apache 2.0 放出 Infinity:把 Agent 当无栈协程,工具调用时持久化对话并挂起,结果回来再唤醒;空闲约 100KB/个。可跑本机或 Lambda+SQS 无服务,早期研究版。
官方痛点是:多数 Agent harness 阻塞等工具——编译二十分钟、等人工审批到第二天,进程与内存一直占着,也无法处理中途事件。Infinity 把每次工具调用当成 await:切片内只做一次模型补全、持久化输出、最多派发一个工具,然后结束;工具结果与用户消息进共享输入队列再唤醒。
厂商基准(模拟模型、内存态存储、单线程 EPYC):约 8 万 Agent、320 万次补全,空闲驻留内存约 100KB/个,外推约 7.5 万个可塞进树莓派 5 的 8GB——测的是内存占用,不是真在 Pi 上跑真实模型。另支持 step 模式挂 AWS Lambda + SQS FIFO + Aurora DSQL / DynamoDB:挂起时无算力消耗,工具等三天也不必占着函数。
异步事件用「合成工具调用」塞进现有 Messages API 形状;父子 Agent 通信走 spawn_thread / report_to_parent。仓库 hydro-project/infinity,早期研究发布,开放问题含事件真伪、交错事件推理与树状压缩。对自托管与常驻 Agent 基建,这是「等工具不占进程」的一条开源路径。


