Awesome Infra for AI выпустил подборку из девяти проектов для инфраструктуры ИИ. В неё вошли средства для контроля доступа к агентам, запуска моделей и поиска по документам.

Для защиты доступа автор включил Hoop, открытый компонент перед базами данных, который скрывает чувствительные данные и блокирует разрушительные запросы до их запуска ИИ-агентом. Среди шлюзов указан Casbin Gateway: он направляет всех ИИ-агентов для работы с кодом на одной машине по единым правилам и учитывает расходы, права и подлинность поставщиков.

Проверка утверждений:

  • Awesome Infra for AI выпустил подборку из девяти проектов для инфраструктуры ИИ. (подтверждено самой публикацией: доказательство; «korchasa released this 28 Sep 03:24 28.09.2026 22d6912 AI Safety & Guardrails hoophq/hoop - Open-source sidecar that sits in front of databases and other resources to mask sensitive data and block destructive queries before AI agents can run them. Inference Optimization carloslfu/slotstream - Native Swift inference engine that runs 100GB+ open LLMs on Macs with only 16-64GB of memory by streaming model weights from SSD as needed. LLM Evaluation & Testing hermes-labs-ai/lintlang - Local, deterministic static linter that scans agent instructions, MCP tool schemas and prompt files for ambiguity, conflicts and missing bounds before an agent runs. LLM Gateways & Proxies apache/casbin-gateway - Local gateway and dashboard that routes every AI coding agent on a machine through one policy layer, tracking spend, permissions and provider authenticity across 44 model vendors. wink-run/tokenbank - Local gateway that puts Claude Code, Cursor, Codex and other agent CLIs behind one endpoint, tracing usage and routing requests across local models, quotas and paid APIs. LLM Observability & Tracing LockedinLabs-AI/agent-console - Local-first console that aggregates token usage, cache activity, model choice and estimated cost across Claude Code and Codex sessions on every connected machine. splunk/token-meter - Local-first dashboard that turns Claude, Codex, Cursor and other coding-agent session logs into one view of token usage, estimated cost and context pressure. Model Serving Frameworks raullenchai/Rapid-MLX - OpenAI- and Anthropic-compatible LLM inference server and native Mac app for Apple Silicon, built on MLX and optimized for reliable tool calling by coding agents. Vector Databases & Retrieval Infrastructure LibreChat-AI/rag-api - FastAPI service that indexes documents into pgvector embeddings by file ID and serves scoped retrieval queries for RAG applications, built primarily for LibreChat.»)
  • Hoop скрывает чувствительные данные и блокирует разрушительные запросы до их запуска ИИ-агентом. (подтверждено самой публикацией: доказательство; «hoophq/hoop - Open-source sidecar that sits in front of databases and other resources to mask sensitive data and block destructive queries before AI agents can run them.»)
  • Casbin Gateway направляет всех ИИ-агентов для работы с кодом на одной машине по единым правилам и учитывает расходы, права и подлинность поставщиков. (подтверждено самой публикацией: доказательство; «apache/casbin-gateway - Local gateway and dashboard that routes every AI coding agent on a machine through one policy layer, tracking spend, permissions and provider authenticity across 44 model vendors.»)
  • В подборку вошли средства для контроля доступа к агентам, запуска моделей и поиска по документам. (подтверждено самой публикацией: доказательство; «AI Safety & Guardrails hoophq/hoop - Open-source sidecar that sits in front of databases and other resources to mask sensitive data and block destructive queries before AI agents can run them. Model Serving Frameworks raullenchai/Rapid-MLX - OpenAI- and Anthropic-compatible LLM inference server and native Mac app for Apple Silicon, built on MLX and optimized for reliable tool calling by coding agents. Vector Databases & Retrieval Infrastructure LibreChat-AI/rag-api - FastAPI service that indexes documents into pgvector embeddings by file ID and serves scoped retrieval queries for RAG applications, built primarily for LibreChat.»)
  • В подборку вошёл Hoop. (подтверждено самой публикацией: доказательство; «AI Safety & Guardrails hoophq/hoop - Open-source sidecar that sits in front of databases and other resources to mask sensitive data and block destructive queries before AI agents can run them.»)
  • Casbin Gateway указан в подборке среди шлюзов для ИИ. (подтверждено самой публикацией: доказательство; «LLM Gateways & Proxies apache/casbin-gateway - Local gateway and dashboard that routes every AI coding agent on a machine through one policy layer, tracking spend, permissions and provider authenticity across 44 model vendors.»)

Публикации:

Первоисточники:

оценка 46,3 из 100 · тип: релиз