23 октября AWS опубликовала Infinity — открытый (Apache 2.0) рантайм для агентов, разработанный в рамках проекта Hydro совместно с UC Berkeley. Это ранний исследовательский релиз, выпущенный ради обратной связи.
Проблема
Агенты много ждут: долгие сборки, ревью, подтверждения от людей. В типичных рантаймах ожидающий агент держит процесс и память, и масштабирование упирается в железо, а не в реальную работу.
Как устроено
- Идея взята из stackless-корутин (как async в Rust): при вызове инструмента рантайм сохраняет диалог, приостанавливает агента и возобновляет, когда пришёл результат.
- Агент работает короткими ограниченными «срезами»: один вызов модели и максимум один вызов инструмента — срез никогда не блокируется.
- У каждого треда своя очередь: сообщения одного треда обрабатываются по порядку, разные треды — параллельно.
- Асинхронные события и общение родительских и дочерних агентов доставляются модели как «синтетические вызовы инструментов».
- Есть step-режим для serverless: каждая доставка — отдельный вызов. Эталонный деплой на AWS — SQS FIFO, Lambda, Aurora DSQL, DynamoDB и EventBridge Scheduler. Инструмент может работать днями, не тратя compute на ожидание.
Цифры
Простаивающий агент занимает около 100 КБ — примерно 75 000 агентов в 8 ГБ Raspberry Pi 5. В тесте 80 000 агентов (3,2 млн completion’ов) отработали на одном потоке AMD EPYC 9R14 — правда, с in-memory хранилищами и симулированной моделью. Примеры написаны на Rust (Tokio).
Открытые вопросы
Авторы сами перечисляют нерешённое: как модели рассуждают о перемежающихся событиях, какие политики планирования нужны и как сжимать контекст в деревьях агентов. До продакшена далеко, но архитектурная идея полезна всем, кто строит агентные платформы.
On Oct 23 AWS published Infinity, an open-source (Apache 2.0) agent runtime built as part of the Hydro project together with UC Berkeley. It is an early research release shared to gather feedback.
The problem
Agents spend a lot of time waiting: long builds, reviews, human approvals. In typical runtimes a waiting agent holds a process and memory, so scaling is bounded by hardware rather than actual work.
How it works
- The idea comes from stackless coroutines (like async in Rust): on a tool call the runtime saves the conversation, suspends the agent and resumes it when the result arrives.
- Agents run in short, bounded slices: one model completion and at most one tool call — a slice never blocks.
- Each thread has its own queue: messages for one thread are processed in order, different threads run in parallel.
- Async events and parent/child agent communication reach the model as “synthetic tool calls.”
- A step mode suits serverless: each delivery is a separate invocation. The AWS reference deployment uses SQS FIFO, Lambda, Aurora DSQL, DynamoDB and EventBridge Scheduler. A tool can run for days without burning compute while waiting.
Numbers
An idle agent takes about 100 KB — roughly 75,000 agents in the 8 GB of a Raspberry Pi 5. In a test, 80,000 agents (3.2 million completions) ran on a single thread of an AMD EPYC 9R14 — albeit with in-memory stores and a simulated model. Examples are in Rust (Tokio).
Open questions
The authors list what is unsolved: how models reason about interleaved events, which scheduling policies are needed and how to compact context in agent trees. It is far from production, but the architectural idea is useful to anyone building agent platforms.