☁️ 基础设施与部署

Hardware integration, cloud infra, and model serving.

当前分类已收录 869 个相关项目。

Cloud & Hosting

netdata

AI驱动的全栈可观测性平台，提供实时监控和智能告警功能。支持容器、Kubernetes等多种环境的自动化运维。

• Stars: ⭐️ 78.5k
• Tags: Observability Monitoring Machine Learning
• 最后活动时间: 2026-04-18

daytona

专为AI智能体设计的安全沙箱基础设施，提供代码执行能力和隔离环境，保障AI生成代码的安全运行。

• Stars: ⭐️ 72.4k
• Tags: AI沙箱 代码执行 基础设施
• 最后活动时间: 2026-04-18

appwrite

完整的云端基础设施平台，支持Web、移动和AI应用开发，包含认证、数据库、存储等服务。

• Stars: ⭐️ 55.8k
• Tags: backend-as-a-service cloud serverless ai-infrastructure
• 最后活动时间: 2026-04-18

kong

云原生API和AI网关，支持LLM请求路由、MCP协议和OpenAI代理，统一管理AI应用流量。

• Stars: ⭐️ 43.2k
• Tags: API Gateway AI Gateway LLM
• 最后活动时间: 2026-03-27

spark

Apache Spark统一大数据分析引擎，内置MLlib机器学习库，支持大规模数据处理和AI模型训练。

• Stars: ⭐️ 43.2k
• Tags: big-data machine-learning data-processing distributed-computing
• 最后活动时间: 2026-04-18

data-engineer-handbook

数据工程师学习资源大全，涵盖Spark、大数据处理、SQL等核心技术。为AI/ML数据管道构建提供重要基础设施知识。

• Stars: ⭐️ 41.0k
• Tags: data-engineering bigdata apachespark sql
• 最后活动时间: 2026-04-02

1Panel

现代化Linux服务器运维面板，支持一键部署Ollama等AI应用，简化VPS管理流程。

• Stars: ⭐️ 35.0k
• Tags: Docker 服务器管理 Ollama
• 最后活动时间: 2026-04-17

nacos

阿里巴巴开源的服务发现与配置管理平台，支持MCP注册和AI Agent注册，助力AI云原生应用构建。

• Stars: ⭐️ 32.9k
• Tags: 服务发现 MCP注册 AI云原生
• 最后活动时间: 2026-04-16

rustfs

高性能AI原生对象存储系统，兼容S3协议，比MinIO快2.3倍，专为AI工作负载设计。

• Stars: ⭐️ 26.1k
• Tags: AI存储 S3兼容 高性能
• 最后活动时间: 2026-04-19

airbyte

领先的数据集成平台，支持从API、数据库和文件到数据仓库的ETL/ELT数据管道构建，为AI/ML系统提供可靠的数据基础设施。

• Stars: ⭐️ 21.1k
• Tags: data-integration data-pipeline etl elt data-engineering
• 最后活动时间: 2026-04-18

anubis

HTTP 请求分析工具，用于识别和阻止 AI 爬虫，保护网站资源免受滥用。

• Stars: ⭐️ 18.6k
• Tags: ai-crawler security defense http
• 最后活动时间: 2026-04-18

sealos

基于Kubernetes的AI原生云操作系统，支持从云端IDE开发到生产部署的完整应用生命周期管理，非常适合构建和扩展现代AI应用。

• Stars: ⭐️ 17.3k
• Tags: Kubernetes Cloud OS AI Infrastructure
• 最后活动时间: 2026-04-16

kubesphere

面向Kubernetes多云、数据中心和边缘管理的容器平台，支持LLM工作负载部署与云原生AI基础设施。

• Stars: ⭐️ 16.9k
• Tags: Kubernetes Cloud Native DevOps LLM
• 最后活动时间: 2026-04-14

argo-workflows

Kubernetes原生工作流引擎，专为机器学习流水线和MLOps场景设计，支持DAG编排和GitOps自动化部署。

• Stars: ⭐️ 16.6k
• Tags: MLOps Kubernetes Workflow
• 最后活动时间: 2026-04-18

apisix

云原生API网关和AI网关，支持流量管理、负载均衡和服务网格，为AI应用提供高性能的流量编排能力。

• Stars: ⭐️ 16.5k
• Tags: api-gateway ai-gateway kubernetes cloud-native
• 最后活动时间: 2026-04-18

dagger

强大的自动化引擎，支持本地、CI和云端运行，可用于构建、测试和部署AI项目工作流。

• Stars: ⭐️ 15.7k
• Tags: CI/CD Automation DevOps AI Agents
• 最后活动时间: 2026-04-18

self-hosted-ai-starter-kit

n8n打造的开源自托管AI入门套件，提供完整工具链，帮助快速搭建安全、自主可控的本地AI环境。

• Stars: ⭐️ 14.6k
• Tags: Self-hosted AI Agents Low-code
• 最后活动时间: 2026-01-06

pyodide

基于WebAssembly的浏览器端Python运行环境，支持在浏览器中运行NumPy、pandas、scikit-learn等科学计算和机器学习库。

• Stars: ⭐️ 14.5k
• Tags: webassembly python browser machine-learning
• 最后活动时间: 2026-04-17

sub2api

一站式 AI API 中转服务，统一接入 Claude、OpenAI、Gemini 等订阅，支持拼车共享分摊成本。

• Stars: ⭐️ 13.5k
• Tags: api-proxy claude openai gemini subscription
• 最后活动时间: 2026-04-18

trino

分布式SQL查询引擎，专为大数据分析设计，支持多种数据源的高性能查询。

• Stars: ⭐️ 12.7k
• Tags: big-data sql query-engine distributed-systems data-lake
• 最后活动时间: 2026-04-17

ubicloud

开源的AWS替代方案，提供弹性计算、块存储、K8s、AI推理服务等完整的云基础设施服务。

• Stars: ⭐️ 12.0k
• Tags: cloud kubernetes ai-inference open-source
• 最后活动时间: 2026-04-18

kubeshark

Kubernetes集群网络可观测性工具，使用eBPF捕获流量，支持AI代理通过MCP协议访问。

• Stars: ⭐️ 11.9k
• Tags: kubernetes network-observability ebpf mcp devops
• 最后活动时间: 2026-04-18

keep

开源的AIOps和告警管理平台，利用AI技术实现智能运维、告警去重、根因分析和自动化工作流编排。

• Stars: ⭐️ 11.7k
• Tags: AIOps Alert Management DevOps Workflow Automation
• 最后活动时间: 2026-04-17

OpenMetadata

统一元数据管理平台，支持数据发现与治理，内置MCP服务器可与AI助手无缝集成。

• Stars: ⭐️ 11.2k
• Tags: Metadata Data Governance MCP Server
• 最后活动时间: 2026-04-18

OpenSandbox

通用AI应用沙箱平台，提供多语言SDK和Docker/K8s运行时，支持Coding Agent、代码执行和RL训练场景。

• Stars: ⭐️ 10.1k
• Tags: Sandbox AI Infrastructure Kubernetes
• 最后活动时间: 2026-04-18

skypilot

统一AI基础设施管理平台，支持跨云GPU/TPU调度、成本优化和分布式训练推理。

• Stars: ⭐️ 9.9k
• Tags: GPU Management Cloud Infrastructure Distributed Training
• 最后活动时间: 2026-04-18

moltworker

在Cloudflare Workers无服务器平台上运行OpenClaw AI Agent的轻量级云端部署方案。

• Stars: ⭐️ 9.8k
• Tags: Serverless Cloudflare AI Agents
• 最后活动时间: 2026-04-17

3FS

专为AI训练和推理工作负载设计的高性能分布式文件系统，解决大规模AI计算中的存储挑战。

• Stars: ⭐️ 9.8k
• Tags: Distributed Storage AI Infrastructure High Performance
• 最后活动时间: 2026-03-30

risingwave

面向智能体AI的事件流平台，支持实时数据摄取、转换和服务，可大规模运行。

• Stars: ⭐️ 8.9k
• Tags: event-streaming kafka rust stream-processing ai-infrastructure
• 最后活动时间: 2026-04-18

delta

开源存储框架，支持构建Lakehouse架构，广泛应用于AI/ML数据管道和大规模数据分析场景。

• Stars: ⭐️ 8.8k
• Tags: delta-lake big-data analytics data-lakehouse spark
• 最后活动时间: 2026-04-18

mage-ai

现代化的数据管道构建与管理平台，支持ETL/ELT与机器学习数据准备。

• Stars: ⭐️ 8.7k
• Tags: data-pipelines etl data-engineering orchestration
• 最后活动时间: 2026-04-02

beam

Apache Beam是统一的批处理和流式数据处理编程模型，广泛用于机器学习数据管道和大规模数据处理。

• Stars: ⭐️ 8.5k
• Tags: apache-beam data-processing ml-pipelines streaming
• 最后活动时间: 2026-04-18

docker-stacks

开箱即用的Jupyter Docker镜像集合，为AI/ML开发和数据科学提供完整的容器化开发环境。

• Stars: ⭐️ 8.4k
• Tags: jupyter docker python machine-learning data-science
• 最后活动时间: 2026-04-12

jupyterhub

Jupyter笔记本多用户服务器，为团队提供共享的AI/ML开发环境。

• Stars: ⭐️ 8.3k
• Tags: jupyter jupyterhub multi-user notebook
• 最后活动时间: 2026-04-15

higress

AI原生API网关，专为AI应用设计的云原生网关解决方案，支持AI流量管理与路由。

• Stars: ⭐️ 8.2k
• Tags: ai-gateway api-gateway cloud-native envoy
• 最后活动时间: 2026-04-18

datahaven

Datahaven 是一个兼容 EVM 的 Substrate 区块链，利用 EigenLayer 安全机制为 AI agents 提供去中心化存储基础设施。

• Stars: ⭐️ 8.0k
• Tags: blockchain storage ai-agents privacy
• 最后活动时间: 2026-04-17

coroot

开源APM可观测性工具，集成AI驱动的根因分析能力，结合指标、日志、链路追踪和持续性能分析。

• Stars: ⭐️ 7.6k
• Tags: APM Root Cause Analysis Observability eBPF
• 最后活动时间: 2026-04-15

hertzbeat

AI驱动的新一代开源实时可观测性系统，支持监控、告警和LLM增强分析。

• Stars: ⭐️ 7.2k
• Tags: Observability Monitoring LLM Alerting
• 最后活动时间: 2026-04-16

feast

开源AI/ML特征存储平台，管理机器学习特征的生命周期，支持实时和批处理特征服务。

• Stars: ⭐️ 7.0k
• Tags: Feature Store MLOps Machine Learning
• 最后活动时间: 2026-04-17

flower

友好的联邦学习框架，支持跨设备分布式 AI 模型训练，兼容 PyTorch、TensorFlow 等多种深度学习框架。

• Stars: ⭐️ 6.8k
• Tags: Federated Learning Distributed Training Privacy Framework
• 最后活动时间: 2026-04-16

AIInfra

AI基础设施资源合集，涵盖从底层芯片到软件栈的AI大模型训练与推理系统知识。

• Stars: ⭐️ 6.8k
• Tags: ai-infrastructure ai-system training inference
• 最后活动时间: 2025-12-22

Agent Starter Pack

生产级 AI 智能体部署模板，几分钟内部署到 Google Cloud，内置 CI/CD、评估和可观测性。

• Stars: ⭐️ 6.3k
• Tags: AI Agents GCP CI/CD Observability
• 最后活动时间: 2026-04-17

deepo

一键部署深度学习开发环境，Docker镜像支持主流框架如TensorFlow、PyTorch等。

• Stars: ⭐️ 6.3k
• Tags: Docker Deep Learning Environment
• 最后活动时间: 2026-03-25

materialize

面向AI代理的实时数据层，支持SQL创建即时业务视图和流数据处理

• Stars: ⭐️ 6.3k
• Tags: database streaming sql real-time data-stream
• 最后活动时间: 2026-04-19

cubefs

云原生分布式存储系统，专为AI场景优化的存储解决方案，支持对象存储和Kubernetes集成。

• Stars: ⭐️ 5.5k
• Tags: cloud-native-storage ai-native-storage kubernetes distributed-storage
• 最后活动时间: 2026-04-13

volcano

CNCF云原生批处理系统，专为AI/ML工作负载设计，支持Kubernetes上的大规模训练和推理任务调度。

• Stars: ⭐️ 5.5k
• Tags: kubernetes machine-learning batch-systems ai-training
• 最后活动时间: 2026-04-18

rivet

专为AI智能体和协作应用设计的有状态Actor运行时基础设施。

• Stars: ⭐️ 5.5k
• Tags: actor-model ai-infrastructure stateful
• 最后活动时间: 2026-04-18

tau

面向人类与机器的全栈工作空间平台，支持云原生、分布式系统和AI工作负载。

• Stars: ⭐️ 5.0k
• Tags: ai cloud-native distributed-systems serverless webassembly
• 最后活动时间: 2026-04-05

cube-studio

开源云原生一站式机器学习平台，支持 MLOps 全流程、大模型微调训练、多机推理部署及国产算力生态。

• Stars: ⭐️ 5.0k
• Tags: MLOps Kubernetes 大模型训练 分布式推理
• 最后活动时间: 2026-02-06

Olares

开源个人云平台，帮助用户重新掌控自己的数据。支持本地AI模型部署和智能家居集成，提供完整的私有云解决方案。

• Stars: ⭐️ 4.4k
• Tags: ai-agents local-ai self-hosted home-cloud
• 最后活动时间: 2026-04-18

nvidia-container-toolkit

NVIDIA容器工具包，支持在容器环境中高效利用GPU资源进行AI训练和推理。

• Stars: ⭐️ 4.3k
• Tags: docker gpu container nvidia
• 最后活动时间: 2026-04-18

pipelines

Kubernetes 原生的机器学习工作流编排平台，提供可视化界面和 SDK，大幅简化 MLOps 实践和 ML 流水线管理。

• Stars: ⭐️ 4.1k
• Tags: Kubeflow MLOps Kubernetes Pipeline
• 最后活动时间: 2026-04-18

aws-sdk-pandas

AWS官方pandas集成库，轻松连接Athena、Redshift、S3等AWS数据服务，简化云端数据处理。

• Stars: ⭐️ 4.1k
• Tags: aws pandas data-engineering etl python
• 最后活动时间: 2026-04-18

deepflow

基于eBPF的零侵入式可观测性平台，支持分布式追踪和性能分析，可监控Kubernetes环境下的LLM应用和GPU工作负载。

• Stars: ⭐️ 4.0k
• Tags: eBPF Observability Kubernetes LLM Monitoring
• 最后活动时间: 2026-04-17

ChatGPT-Telegram-Workers

轻松部署Telegram ChatGPT机器人，支持Cloudflare Workers、Vercel和Docker多平台无服务器部署。

• Stars: ⭐️ 3.8k
• Tags: ChatGPT Telegram Serverless
• 最后活动时间: 2026-04-06

octelium

新一代开源零信任安全访问平台，支持AI/MCP网关、VPN、PaaS等多种部署模式。

• Stars: ⭐️ 3.7k
• Tags: Zero Trust AI Gateway VPN
• 最后活动时间: 2026-04-18

polyaxon

MLOps平台，提供机器学习全生命周期的管理与编排工具，支持Kubernetes部署。

• Stars: ⭐️ 3.7k
• Tags: MLOps Kubernetes Machine-Learning
• 最后活动时间: 2026-04-13

swarmpit

轻量级 Docker Swarm 管理平台，支持 AI 友好部署和 MCP 协议集成，提供移动端适配的 PWA 界面。

• Stars: ⭐️ 3.4k
• Tags: docker docker-swarm mcp container-management
• 最后活动时间: 2026-04-18

dagu

本地优先的工作流引擎，支持声明式、基于文件的配置，可从单机扩展到分布式集群，适用于AI工作流编排。

• Stars: ⭐️ 3.3k
• Tags: workflow-engine dag job-scheduler ai-workflow
• 最后活动时间: 2026-04-18

pinme

一键部署前端应用工具，支持Claude Code Skills集成，零配置静态站点托管。

• Stars: ⭐️ 3.2k
• Tags: deployment frontend claude-code-skill serverless hosting
• 最后活动时间: 2026-04-15

spark-operator

undefined

• Stars: ⭐️ 3.1k
• Tags: apache-spark kubernetes kubernetes-operator machine-learning
• 最后活动时间: 2026-04-16

heavydb

GPU加速的SQL数据库，支持实时分析和机器学习工作负载。

• Stars: ⭐️ 3.1k
• Tags: cuda gpu-database sql analytics machine-learning
• 最后活动时间: 2026-01-06

robusta

Kubernetes智能告警平台，提供AI增强的告警分组、自动修复和故障诊断能力。

• Stars: ⭐️ 3.0k
• Tags: Kubernetes Prometheus AIOps Monitoring
• 最后活动时间: 2026-04-16

gravitino

强大的开源数据目录系统，支持构建高性能、地理分布式的联邦元数据湖和AI模型目录管理。

• Stars: ⭐️ 2.9k
• Tags: Data Catalog Lakehouse Metadata AI Catalog
• 最后活动时间: 2026-04-17

harbor

一键部署完整LLM技术栈，集成数百个AI服务，支持Docker容器化本地自托管。

• Stars: ⭐️ 2.8k
• Tags: Docker LLM Self-hosted
• 最后活动时间: 2026-04-16

docker-python

Kaggle官方Python Docker镜像，预装常用机器学习与数据科学库。

• Stars: ⭐️ 2.7k
• Tags: docker kaggle ml-environment data-science
• 最后活动时间: 2026-03-20

chdb

基于ClickHouse的进程内OLAP SQL引擎，支持高性能数据分析。

• Stars: ⭐️ 2.7k
• Tags: clickhouse olap sql data-science
• 最后活动时间: 2026-04-01

gpu-operator

NVIDIA官方Kubernetes GPU运算符，自动化管理集群中的GPU资源配置与调度。

• Stars: ⭐️ 2.6k
• Tags: kubernetes gpu nvidia cuda
• 最后活动时间: 2026-04-18

amazon-bedrock-agentcore-samples

帮助开发者将AI智能体快速部署到生产环境，提供企业级扩展性、可靠性和安全性支持。

• Stars: ⭐️ 2.6k
• Tags: AI Agents Production Deployment AWS Bedrock
• 最后活动时间: 2026-04-17

kite

轻量级Kubernetes仪表板，整合多集群管理、企业级用户治理和AI智能体于一体的平台级解决方案。

• Stars: ⭐️ 2.5k
• Tags: kubernetes ai-agent dashboard multi-cluster
• 最后活动时间: 2026-04-16

kuberay

在Kubernetes上运行Ray应用的工具包，支持分布式机器学习与深度学习工作负载。

• Stars: ⭐️ 2.4k
• Tags: kubernetes ray deep-learning machine-learning
• 最后活动时间: 2026-04-17

hivemind

PyTorch 去中心化深度学习框架，支持全球志愿者协同训练模型。

• Stars: ⭐️ 2.4k
• Tags: distributed-training decentralized pytorch
• 最后活动时间: 2026-01-11

awesome-argo

Argo生态系统精选资源列表，涵盖Argo Workflows、ArgoCD等云原生工具，支持MLOps和机器学习工作流编排。

• Stars: ⭐️ 2.4k
• Tags: argo argocd kubernetes mlops gitops workflow-orchestration
• 最后活动时间: 2026-02-28

boinc

开源分布式计算平台，支持志愿计算和网格计算，可用于AI模型训练和科学计算任务的大规模分布式处理。

• Stars: ⭐️ 2.4k
• Tags: distributed-computing volunteer-computing grid-computing high-performance-computing
• 最后活动时间: 2026-04-19

1backend

企业级微服务平台，支持快速构建和部署 AI 应用，提供私有化部署能力。

• Stars: ⭐️ 2.3k
• Tags: ai-platform microservices backend self-hosted
• 最后活动时间: 2026-04-18

sedona

大规模地理空间数据处理集群计算框架，支持空间SQL查询和分析，适用于AI地理空间应用的数据预处理管道。

• Stars: ⭐️ 2.3k
• Tags: geospatial cluster-computing spatial-analysis spatial-query
• 最后活动时间: 2026-04-18

sagemaker-python-sdk

AWS SageMaker官方Python SDK，支持在云端训练和部署机器学习模型。

• Stars: ⭐️ 2.2k
• Tags: aws sagemaker model-deployment
• 最后活动时间: 2026-04-17

proton

高性能单二进制SQL ETL管道，专为流处理、可观测性分析和AI/ML数据管道设计。

• Stars: ⭐️ 2.2k
• Tags: etl stream-processing sql real-time data-pipeline
• 最后活动时间: 2026-04-17

fugue

分布式计算统一接口，支持在Spark、Dask和Ray上无缝执行SQL、Python、Pandas和Polars代码，无需重写。

• Stars: ⭐️ 2.2k
• Tags: distributed-computing spark dask ray machine-learning
• 最后活动时间: 2026-04-14

cloudflare-ai-web

Cloudflare AI平台一键部署方案，快速搭建AI应用服务。

• Stars: ⭐️ 2.2k
• Tags: cloudflare ai-deployment serverless workers-ai nextjs
• 最后活动时间: 2026-04-11

cube-studio

开源云原生一站式机器学习平台，支持大模型训练推理、MLOps全流程、多机分布式训练及国产算力调度。

• Stars: ⭐️ 2.1k
• Tags: mlops machine-learning-platform kubernetes llm-training
• 最后活动时间: 2026-04-13

fusio

面向开发者的自托管 API 管理平台，支持 MCP 服务器和 AI Agent 集成。

• Stars: ⭐️ 2.1k
• Tags: api-gateway api-management mcp-server self-hosted
• 最后活动时间: 2026-04-18

TileDB

通用存储引擎，支持密集和稀疏数组数据，适用于科学计算和AI数据管理。

• Stars: ⭐️ 2.0k
• Tags: storage-engine arrays data-science scientific-computing database
• 最后活动时间: 2026-03-30

nono

内核级AI智能体沙箱安全工具，提供能力隔离、安全密钥管理和不可变审计链，防范提示注入等安全威胁。

• Stars: ⭐️ 2.0k
• Tags: Agent Security Sandbox Zero-Trust
• 最后活动时间: 2026-04-18

SREWorks

云原生数智运维平台，集成AIOps与DataOps能力，提供智能运维解决方案。

• Stars: ⭐️ 2.0k
• Tags: aiops kubernetes devops cloudnative sre
• 最后活动时间: 2025-12-13

fluid

CNCF项目，为云原生大数据/AI应用提供数据抽象与加速，支持Kubernetes环境下的分布式缓存。

• Stars: ⭐️ 1.9k
• Tags: kubernetes data-abstraction distributed-cache cncf ai-infrastructure
• 最后活动时间: 2026-04-17

openmeter

专为 AI 和 API 设计的实时用量计量与计费平台，支持百万级事件的实时聚合与基于用量的计费。

• Stars: ⭐️ 1.9k
• Tags: metering billing ai-usage usage-based-billing
• 最后活动时间: 2026-04-18

kubewall

单二进制 Kubernetes 仪表板，支持多集群管理与 AI 集成，为 Kubernetes 运维提供智能辅助。

• Stars: ⭐️ 1.9k
• Tags: Kubernetes AI Dashboard
• 最后活动时间: 2026-04-16

awesome-spark

Apache Spark资源精选列表，包含MLlib机器学习库，是大规模数据处理和机器学习管道的重要基础设施。

• Stars: ⭐️ 1.9k
• Tags: apache-spark pyspark machine-learning big-data
• 最后活动时间: 2026-02-27

aistore

专为AI应用设计的可扩展分布式存储系统，支持Kubernetes部署和ML训练工作负载，提供高性能对象存储和ETL卸载能力。

• Stars: ⭐️ 1.8k
• Tags: AI Storage Kubernetes Distributed
• 最后活动时间: 2026-04-18

Bytez

全球最大无服务器模型推理API平台，提供220,000+AI模型统一访问接口，一键调用主流大模型。

• Stars: ⭐️ 1.8k
• Tags: API平台 无服务器 模型推理
• 最后活动时间: 2026-03-03

plik

轻量级临时文件上传系统，支持端到端加密，可自托管，已集成MCP协议支持AI助手直接操作文件。

• Stars: ⭐️ 1.7k
• Tags: file-sharing self-hosted mcp e2ee
• 最后活动时间: 2026-04-16

zero-to-jupyterhub-k8s

在Kubernetes上部署JupyterHub的官方Helm Chart，为AI/ML开发提供云端笔记本环境。

• Stars: ⭐️ 1.7k
• Tags: jupyterhub kubernetes data-science
• 最后活动时间: 2026-04-16

koordinator

基于QoS的Kubernetes调度系统，为微服务、大数据和AI作业提供最优的资源分配和调度策略。

• Stars: ⭐️ 1.7k
• Tags: kubernetes scheduling AI-workloads resource-management
• 最后活动时间: 2026-04-16

distributed

Dask分布式任务调度器，为大规模机器学习和数据处理提供强大的分布式计算能力。

• Stars: ⭐️ 1.7k
• Tags: distributed-computing dask pydata python
• 最后活动时间: 2026-04-18

agent-safehouse

为本地AI代理提供沙箱安全隔离环境，限制其仅能读写必要的文件和资源，保护系统安全。

• Stars: ⭐️ 1.6k
• Tags: AI代理 沙箱安全 安全隔离
• 最后活动时间: 2026-04-05

terraform-skill

Claude Agent 的 Terraform 和 OpenTofu 技能扩展，支持测试、模块管理和生产级最佳实践。

• Stars: ⭐️ 1.6k
• Tags: Claude Terraform Infrastructure DevOps
• 最后活动时间: 2026-02-02

robustmq

下一代统一通信基础设施，专为AI、物联网和大数据场景设计的高性能消息队列系统，支持MQTT、AMQP等多种协议。

• Stars: ⭐️ 1.6k
• Tags: 消息队列 MQTT Rust AI基础设施
• 最后活动时间: 2026-04-18

quix-streams

基于Kafka的Python流式DataFrame库，适用于实时机器学习数据处理管道。

• Stars: ⭐️ 1.5k
• Tags: kafka stream-processing python real-time-data
• 最后活动时间: 2026-04-10

hash

开源多租户平台，支持自建知识图谱与仿真模拟。

• Stars: ⭐️ 1.5k
• Tags: knowledge-graph simulation rust multi-tenant
• 最后活动时间: 2026-04-18

comfyui-deploy

开源的ComfyUI部署平台，类似Vercel的一键部署体验，专为AI图像生成工作流设计。

• Stars: ⭐️ 1.5k
• Tags: ComfyUI Deployment AI-Infrastructure
• 最后活动时间: 2025-11-13

app-platform

大模型应用工程平台，集成声明式编程和低代码配置工具。

• Stars: ⭐️ 1.4k
• Tags: ai agent agentic-ai java low-code
• 最后活动时间: 2026-04-16

bittensor

去中心化AI网络协议，结合区块链技术实现互联网规模的神经网络协作训练与推理。

• Stars: ⭐️ 1.4k
• Tags: decentralized-ai blockchain p2p
• 最后活动时间: 2026-04-17

gloo

PyTorch官方的分布式训练集合通信库，支持多机多卡训练。

• Stars: ⭐️ 1.4k
• Tags: distributed-training collectives pytorch multi-machine
• 最后活动时间: 2026-03-20

oracle-db-examples

Oracle AI 数据库代码示例集合，展示如何在 Oracle 数据库中使用 AI 功能，包括向量存储、机器学习等特性。

• Stars: ⭐️ 1.4k
• Tags: oracle ai-database vector-database machine-learning
• 最后活动时间: 2026-04-13

aws-genai-llm-chatbot

AWS上的多LLM多RAG聊天机器人部署方案，支持Amazon Bedrock、OpenAI、Anthropic等多种模型，模块化架构易于扩展。

• Stars: ⭐️ 1.4k
• Tags: AWS LLM RAG Chatbot CDK
• 最后活动时间: 2026-03-06

AI-Horde

众包分布式AI计算集群，支持AI图像和文本生成的志愿者计算网络。

• Stars: ⭐️ 1.4k
• Tags: distributed-computing stable-diffusion gpt volunteer-computing
• 最后活动时间: 2026-04-18

ChatGPT-Mirror

一键部署个人ChatGPT镜像站，支持快速搭建和自定义配置，方便区域访问受限用户。

• Stars: ⭐️ 1.3k
• Tags: chatgpt mirror deployment proxy
• 最后活动时间: 2026-03-10

terraform-mcp-server

Terraform MCP服务器，为AI智能体提供与Terraform生态系统的无缝集成，支持基础设施即代码开发自动化。

• Stars: ⭐️ 1.3k
• Tags: mcp terraform infrastructure-as-code ai-agents
• 最后活动时间: 2026-04-17

generative-ai-use-cases

AWS官方生成式AI业务用例实现方案，涵盖Claude、Llama等模型和RAG技术，帮助企业安全部署AI应用。

• Stars: ⭐️ 1.3k
• Tags: AWS Generative AI LLM RAG
• 最后活动时间: 2026-04-18

kusion

声明式意图驱动的内部开发者平台编排器，支持LLMOps和多云部署的现代化基础设施解决方案。

• Stars: ⭐️ 1.3k
• Tags: platform-engineering kubernetes llmops cloud-native
• 最后活动时间: 2026-01-04

arkflow

高性能Rust流处理引擎，无缝集成AI能力，支持实时数据处理和智能分析。适用于机器学习数据管道和实时AI推理场景。

• Stars: ⭐️ 1.3k
• Tags: Rust Stream Processing AI Real-time
• 最后活动时间: 2026-04-14

aipexbase

AI 原生后端即服务平台，专注前端开发，后端由 AI 自动处理。

• Stars: ⭐️ 1.3k
• Tags: baas ai-native backend cloud-platform
• 最后活动时间: 2026-04-17

KAI-Scheduler

开源的 Kubernetes 原生调度器，专为大规模 AI 工作负载设计，支持 GPU 资源优化和分布式训练任务调度。

• Stars: ⭐️ 1.2k
• Tags: kubernetes ai-scheduler gpu-scheduling machine-learning
• 最后活动时间: 2026-04-18

grafbase

Grafbase GraphQL联邦网关，支持MCP协议，为AI应用提供高性能的GraphQL数据联邦能力。

• Stars: ⭐️ 1.2k
• Tags: graphql federation mcp rust
• 最后活动时间: 2026-04-17

xorbits

可扩展的Python数据科学与机器学习框架，API兼容且高性能。

• Stars: ⭐️ 1.2k
• Tags: scalable distributed-systems machine-learning pandas numpy
• 最后活动时间: 2026-02-14

modal-examples

Modal云平台的示例代码集合，展示无服务器GPU计算和ML部署。

• Stars: ⭐️ 1.2k
• Tags: modal serverless gpu cloud pytorch
• 最后活动时间: 2026-04-17

deep-learning-containers

AWS官方深度学习容器，一站式AI/ML云端部署解决方案。

• Stars: ⭐️ 1.2k
• Tags: aws deep-learning containers deployment
• 最后活动时间: 2026-04-19

wuying-agentbay-sdk

专为AI智能体打造的云端沙箱环境SDK，提供安全隔离的运行环境用于AI代理测试和部署。

• Stars: ⭐️ 1.1k
• Tags: sandbox ai-agents cloud sdk
• 最后活动时间: 2026-04-16

targets

R语言函数式声明式工作流管道工具，类似Makefile，支持高性能计算和可重复研究。

• Stars: ⭐️ 1.1k
• Tags: pipeline workflow r reproducibility data-science
• 最后活动时间: 2026-02-23

E2B Infra

E2B云平台底层基础设施，为AI智能体提供安全的代码执行沙箱环境。

• Stars: ⭐️ 1.0k
• Tags: Sandbox Cloud MicroVM
• 最后活动时间: 2026-04-19

manifests

Kubeflow AI参考平台的部署清单，支持企业级多租户和安全配置，简化机器学习平台在Kubernetes上的部署。

• Stars: ⭐️ 1.0k
• Tags: kubeflow kubernetes deployment mlops
• 最后活动时间: 2026-04-11

sandbox-sdk

基于Cloudflare边缘网络的沙盒代码执行环境，为AI智能体提供安全隔离的代码解释器。

• Stars: ⭐️ 986
• Tags: sandbox code-interpreter edge-computing containers
• 最后活动时间: 2026-04-17

gondolin

基于Linux microvm的实验性AI智能体沙箱环境，使用TypeScript控制平面。

• Stars: ⭐️ 930
• Tags: sandbox microvm agent-security
• 最后活动时间: 2026-04-12

kaito

Kubernetes AI工具链操作器，简化AI模型在Kubernetes集群上的部署和管理，支持GPU资源调度。

• Stars: ⭐️ 919
• Tags: kubernetes ai gpu operator mlops
• 最后活动时间: 2026-04-18

hera

Python原生集成库，让Python代码轻松编排到Argo Workflows上运行，支持纯Python构建和提交工作流。

• Stars: ⭐️ 895
• Tags: Argo Workflows Python Kubernetes MLOps
• 最后活动时间: 2026-04-14

kubectl-mcp-server

Kubernetes MCP服务器，让AI助手能够管理和操作K8s集群。

• Stars: ⭐️ 869
• Tags: kubernetes mcp mcp-server devops
• 最后活动时间: 2026-04-08

vibe

macOS上的轻量级Linux虚拟机工具，用于安全沙箱化运行LLM智能体。

• Stars: ⭐️ 866
• Tags: Sandbox LLM Agents Virtualization
• 最后活动时间: 2026-03-28

covalent

Python工作流编排工具，支持机器学习、高性能计算和量子计算任务的异构环境调度。

• Stars: ⭐️ 860
• Tags: workflow orchestration machine-learning quantum-computing
• 最后活动时间: 2026-04-14

bacalhau

分布式计算框架，支持AI数据管道、批处理和去中心化计算任务的高效执行平台。

• Stars: ⭐️ 855
• Tags: distributed-computing ai-pipeline data-processing
• 最后活动时间: 2026-04-19

data-on-eks

在Amazon EKS上构建、部署和扩展数据与ML平台的工具集，支持Kubeflow、Ray、Spark等框架。

• Stars: ⭐️ 835
• Tags: kubernetes eks mlflow kubeflow
• 最后活动时间: 2026-04-16

flake

Nix Flake配置集合，为众多AI项目提供便捷的包管理和开发环境。

• Stars: ⭐️ 825
• Tags: nix nixos ai flake dev-environment
• 最后活动时间: 2026-04-18

n8n-install

一键部署自托管AI自动化平台，集成n8n、Ollama、Flowise、RAG等30+工具。

• Stars: ⭐️ 817
• Tags: Self-hosted Docker Ollama RAG
• 最后活动时间: 2026-03-28

groundx-on-prem

可Kubernetes部署的文档解析、存储和搜索服务，支持本地化部署。

• Stars: ⭐️ 813
• Tags: Kubernetes 文档解析 本地部署
• 最后活动时间: 2026-03-18

onyxia

Kubernetes 原生的数据科学开发环境，为 AI/ML 工作负载提供完整的容器化开发平台。

• Stars: ⭐️ 813
• Tags: kubernetes data-science datalab helm
• 最后活动时间: 2026-04-11

arena

Kubeflow命令行工具，简化Kubernetes上的机器学习任务管理，支持一键部署训练任务和模型服务。

• Stars: ⭐️ 810
• Tags: Kubeflow Kubernetes 深度学习
• 最后活动时间: 2026-04-16

k8m

轻量级跨平台 Kubernetes AI 管理面板，集成大模型、智能体和MCP支持，提供多集群管理、智能分析和实时异常检测功能。

• Stars: ⭐️ 807
• Tags: ai kubernetes dashboard mcp llm chatgpt
• 最后活动时间: 2026-04-10

k7

轻量级虚拟机沙箱基础设施，用于安全执行不可信代码，支持CLI、API和Python SDK，是AI智能体代码执行的安全底座。

• Stars: ⭐️ 776
• Tags: sandbox agents security virtual-machine
• 最后活动时间: 2025-12-14

kernel-images

面向自动化和Web智能体的浏览器即服务基础设施。

• Stars: ⭐️ 751
• Tags: browser-automation infrastructure docker unikernel
• 最后活动时间: 2026-04-16

oio-sds

高性能软件定义对象存储系统，支持 S3 和 Swift 协议，专为大数据和 AI 工作负载设计。

• Stars: ⭐️ 751
• Tags: object-storage s3 storage big-data
• 最后活动时间: 2026-04-17

gcloud-mcp

Google Cloud MCP 服务器，让 AI 智能体能够与 Google Cloud 服务进行交互操作。

• Stars: ⭐️ 741
• Tags: gcloud mcp google-cloud ai-integration
• 最后活动时间: 2026-04-17

heir

基于MLIR的同态加密编译器，支持在加密数据上直接进行计算，为隐私保护的AI推理提供基础设施支持。

• Stars: ⭐️ 710
• Tags: Homomorphic Encryption MLIR Privacy-Preserving AI
• 最后活动时间: 2026-04-19

vertex-ai-samples

Google Cloud Vertex AI官方示例代码库，包含Jupyter notebooks和代码示例，全面演示机器学习和生成式AI工作流开发。

• Stars: ⭐️ 704
• Tags: vertex-ai gemini generative-ai mlops
• 最后活动时间: 2026-04-18

BharatMLStack

开源端到端机器学习基础设施栈，支持实时和批量ML工作负载的大规模部署。

• Stars: ⭐️ 690
• Tags: ml-infrastructure feature-store mlops machine-learning
• 最后活动时间: 2026-04-18

vertex-ai-mlops

Google Cloud Vertex AI 端到端 MLOps 工作流模板，涵盖机器学习模型训练、部署和运维全流程。

• Stars: ⭐️ 689
• Tags: MLOps Vertex AI GCP Deep Learning
• 最后活动时间: 2026-04-18

worker-comfyui

将ComfyUI部署为RunPod无服务器API，支持SDXL和Stable Diffusion工作流的云端托管与弹性扩展。

• Stars: ⭐️ 676
• Tags: ComfyUI Serverless Stable Diffusion
• 最后活动时间: 2026-03-24

mlops-stacks

Databricks ML 项目启动模板，开箱即用的生产级最佳实践配置。

• Stars: ⭐️ 669
• Tags: databricks mlops machine-learning
• 最后活动时间: 2026-01-28

enterprise_gateway

轻量级多租户Jupyter网关，支持在Kubernetes、Spark等分布式集群上运行Notebook内核，适用于AI/ML分布式计算场景。

• Stars: ⭐️ 662
• Tags: jupyter kubernetes distributed-computing spark enterprise-gateway
• 最后活动时间: 2026-03-06

turbodbc

高性能Python ODBC数据库连接模块，支持NumPy和大数据场景下的快速数据访问。

• Stars: ⭐️ 656
• Tags: odbc database numpy python data-science
• 最后活动时间: 2026-04-13

azure-skills

微软官方Azure代理插件，提供Azure场景的技能和MCP服务器配置。

• Stars: ⭐️ 646
• Tags: azure mcp agent-skills cloud
• 最后活动时间: 2026-04-17

curvine

基于 Rust 构建的高性能分布式多层缓存系统，专为 AI 基础设施优化。

• Stars: ⭐️ 641
• Tags: ai-infrastructure cache rust distributed-systems
• 最后活动时间: 2026-04-17

vibe

MacOS上的轻量级Linux虚拟机，专为LLM Agent沙箱隔离设计，保障安全运行环境。

• Stars: ⭐️ 640
• Tags: Sandbox VM Agent Security
• 最后活动时间: 2026-04-16

vibe

MacOS上的轻量级Linux虚拟机，专为LLM Agent沙箱隔离设计，保障安全运行环境。

• Stars: ⭐️ 640
• Tags: Sandbox VM Agent Security
• 最后活动时间: 2026-04-16

dify-helm

Dify平台的Kubernetes Helm部署方案，支持在K8s集群中快速部署LLM应用。

• Stars: ⭐️ 629
• Tags: Kubernetes Helm Dify 部署
• 最后活动时间: 2026-04-02

mlops-v2

Azure MLOps 企业级解决方案加速器，提供生产就绪的机器学习模型部署模板。

• Stars: ⭐️ 625
• Tags: azure mlops machine-learning devops
• 最后活动时间: 2025-12-08

deep-learning-frameworks

为ArcGIS系统提供深度学习框架的安装支持与环境配置工具。

• Stars: ⭐️ 611
• Tags: Deep Learning ArcGIS Infrastructure Installation
• 最后活动时间: 2025-11-21

kubespawner

JupyterHub的Kubernetes动态Pod生成器，支持为每个用户创建独立的Jupyter Notebook环境，广泛用于数据科学和机器学习工作流。

• Stars: ⭐️ 600
• Tags: jupyter jupyterhub kubernetes data-science
• 最后活动时间: 2026-04-06

venice

LinkedIn开源的衍生数据平台，专为行星级规模工作负载设计，支持AI/ML数据处理与推理场景。

• Stars: ⭐️ 599
• Tags: ML Platform Data Infrastructure Scalable
• 最后活动时间: 2026-04-18

self-host-n8n-on-gcr

在 Google Cloud 上自托管 n8n 的解决方案，支持 AI Agent 工作流的低成本无服务器部署。

• Stars: ⭐️ 595
• Tags: n8n Self-hosting Google Cloud AI Agents
• 最后活动时间: 2026-04-01

cloud-run-mcp

MCP 服务器，支持将 AI 应用一键部署到 Google Cloud Run，简化云端部署流程。

• Stars: ⭐️ 592
• Tags: mcp mcp-server google-cloud cloud-run
• 最后活动时间: 2026-04-17

redun

支持AWS/GCP的数据科学工作流引擎，提供任务调度与Docker容器编排能力。

• Stars: ⭐️ 581
• Tags: workflow-engine data-engineering etl ml
• 最后活动时间: 2026-04-16

arc

高性能分析型数据库，基于 DuckDB SQL 引擎和 Parquet 存储，支持 AI、IoT、日志分析等场景，单二进制部署无厂商锁定。

• Stars: ⭐️ 575
• Tags: DuckDB Parquet OLAP Analytics
• 最后活动时间: 2026-04-16

ollama-helm

用于在Kubernetes集群中部署Ollama的Helm Chart，支持GPU资源配置和模型管理，适合生产环境。

• Stars: ⭐️ 567
• Tags: Helm Kubernetes LLM部署
• 最后活动时间: 2026-04-18

Slurm-web

Slurm HPC 和 AI 集群的开源 Web 管理界面，提供可视化监控和管理功能。

• Stars: ⭐️ 556
• Tags: slurm hpc cluster-management webui
• 最后活动时间: 2026-04-16

matchlock

基于Linux沙箱的AI代理工作负载安全隔离方案，保障AI系统运行环境的安全性。

• Stars: ⭐️ 555
• Tags: security sandbox ai-agents linux
• 最后活动时间: 2026-04-08

databricks-sdk-py

Databricks官方Python SDK，用于在Databricks数据智能平台上构建AI和机器学习应用。

• Stars: ⭐️ 542
• Tags: databricks sdk python machine-learning
• 最后活动时间: 2026-04-17

sagemaker-training-toolkit

AWS SageMaker官方训练工具包，支持在Docker容器中训练机器学习模型。

• Stars: ⭐️ 535
• Tags: aws sagemaker machine-learning training docker
• 最后活动时间: 2026-01-16

codalab-competitions

机器学习竞赛平台，支持基准测试和科学研究竞赛。

• Stars: ⭐️ 534
• Tags: ml-competitions benchmarks machine-learning-platform
• 最后活动时间: 2026-04-14

generative-ai-cdk-constructs

AWS官方提供的生成式AI CDK构造库，包含RAG、Agent、知识库等常见GenAI架构模式的示例实现。

• Stars: ⭐️ 532
• Tags: AWS CDK GenAI RAG
• 最后活动时间: 2026-04-17

cloud-code

在Cloudflare上运行OpenCode，构建专属云端AI代理的轻量级解决方案。

• Stars: ⭐️ 530
• Tags: cloudflare opencode cloud-agent serverless
• 最后活动时间: 2026-01-29

leash

StrongDM推出的AI代理安全沙盒工具，为AI代理提供安全的容器化运行环境。

• Stars: ⭐️ 529
• Tags: ai-agents sandbox security container
• 最后活动时间: 2026-04-06

unbody

AI 时代的模块化后端平台，专为构建知识驱动的 AI 原生应用设计。

• Stars: ⭐️ 525
• Tags: ai-backend knowledge-base vector-database rag
• 最后活动时间: 2026-04-14

mpi-operator

Kubernetes上运行MPI分布式训练应用的Operator，支持PyTorch和TensorFlow。

• Stars: ⭐️ 524
• Tags: kubernetes distributed-training mpi kubeflow
• 最后活动时间: 2026-04-14

examples

Cerebrium无服务器GPU平台示例代码，涵盖LLM、ML模型部署实践。

• Stars: ⭐️ 523
• Tags: serverless-gpu llm-deployment mlops ai-inference
• 最后活动时间: 2026-03-19

ml-on-gcp

Google Cloud平台上的机器学习示例集合，涵盖ML工作流的完整实践指南。

• Stars: ⭐️ 514
• Tags: GCP Machine Learning Cloud
• 最后活动时间: 2026-03-27

caddy-defender

Caddy 服务器模块，用于阻止或干扰 AI 爬虫对网站内容的抓取训练，保护原创内容安全。

• Stars: ⭐️ 513
• Tags: caddy ai-blocker security web-security
• 最后活动时间: 2026-04-19

Hardware Acceleration

ColossalAI

大规模并行训练框架，让大模型训练更便宜、更快速。支持多种并行策略和异构训练，显著降低开发门槛。

• Stars: ⭐️ 41.4k
• Tags: Distributed Training LLM Deep Learning
• 最后活动时间: 2026-04-13

jax

Google开源的高性能机器学习框架，支持自动微分、向量化、JIT编译到GPU/TPU，是构建深度学习模型的核心基础设施。

• Stars: ⭐️ 35.4k
• Tags: jax machine-learning deep-learning gpu autodiff
• 最后活动时间: 2026-04-18

taichi

高性能GPU编程语言，支持可微分编程，适用于AI计算加速与图形学应用。

• Stars: ⭐️ 28.2k
• Tags: gpu-programming differentiable-programming high-performance
• 最后活动时间: 2026-04-06

modular

Modular平台包含MAX和Mojo编程语言，为AI开发提供高性能基础设施和统一的执行环境。

• Stars: ⭐️ 25.9k
• Tags: mojo ai-infrastructure programming-language machine-learning max
• 最后活动时间: 2026-04-18

mlx

Apple官方推出的数组计算框架，专为Apple Silicon芯片优化的机器学习基础设施。

• Stars: ⭐️ 25.5k
• Tags: Apple Silicon ML Framework Hardware Acceleration
• 最后活动时间: 2026-04-18

llmfit

一键检测硬件兼容性，从数百个模型中找到适合本地运行的模型。

• Stars: ⭐️ 23.9k
• Tags: 硬件适配 模型选择 本地AI
• 最后活动时间: 2026-04-18

ncnn

专为移动端优化的高性能神经网络推理框架，支持Android、iOS及多种硬件架构。

• Stars: ⭐️ 23.1k
• Tags: Inference Mobile AI Edge Computing
• 最后活动时间: 2026-04-17

onnxruntime

微软开源的高性能ML推理和训练加速器，跨平台支持，兼容PyTorch、TensorFlow等主流框架。

• Stars: ⭐️ 19.9k
• Tags: ONNX Inference Cross-platform Acceleration
• 最后活动时间: 2026-04-18

ktransformers

一个灵活的异构LLM推理与微调优化框架，支持多种硬件加速方案，帮助开发者在不同设备上高效运行大模型。

• Stars: ⭐️ 17.0k
• Tags: LLM Inference Hardware Optimization Fine-tuning
• 最后活动时间: 2026-04-18

codon

高性能零开销Python编译器，内置NumPy支持，可加速AI/ML工作负载。

• Stars: ⭐️ 16.7k
• Tags: compiler python numpy high-performance gpu-programming
• 最后活动时间: 2026-04-11

airllm

在单张4GB GPU上运行70B大语言模型的推理优化方案，突破显存限制。

• Stars: ⭐️ 16.5k
• Tags: LLM Inference GPU Optimization Model Serving
• 最后活动时间: 2026-03-10

MNN

阿里巴巴开源的高性能轻量级推理引擎，支持端侧LLM与边缘AI。

• Stars: ⭐️ 15.0k
• Tags: Inference Edge AI Embedded
• 最后活动时间: 2026-04-17

ggml

专为边缘设备优化的张量计算库，支持在CPU和Apple Silicon上高效运行大语言模型，是llama.cpp等项目的核心依赖。

• Stars: ⭐️ 14.5k
• Tags: Tensor Library Edge AI LLM Inference
• 最后活动时间: 2026-04-14

ZLUDA

在非NVIDIA GPU上运行CUDA程序的项目，让AMD等显卡也能执行CUDA加速的AI训练和推理任务。

• Stars: ⭐️ 14.1k
• Tags: cuda gpu rust hardware-acceleration
• 最后活动时间: 2026-04-19

dask

灵活的并行计算库，为NumPy、Pandas和scikit-learn提供大规模数据处理能力，是机器学习工作流的重要基础设施。

• Stars: ⭐️ 13.8k
• Tags: parallel-computing numpy pandas scikit-learn
• 最后活动时间: 2026-04-13

TensorRT-LLM

NVIDIA官方LLM推理优化库，支持在GPU上高效运行大语言模型，包含先进的优化技术。

• Stars: ⭐️ 13.4k
• Tags: LLM Inference NVIDIA GPU
• 最后活动时间: 2026-04-18

TensorRT

NVIDIA官方高性能深度学习推理SDK，专为GPU加速优化，支持模型部署与推理加速。

• Stars: ⭐️ 12.9k
• Tags: Deep Learning Inference GPU NVIDIA
• 最后活动时间: 2026-04-13

FlashMLA

高效的多头潜在注意力内核，优化LLM推理性能的关键组件。

• Stars: ⭐️ 12.6k
• Tags: attention llm optimization kernels
• 最后活动时间: 2026-04-07

numba

基于LLVM的Python动态编译器，支持CUDA GPU加速，让Python代码获得接近C的性能。

• Stars: ⭐️ 11.0k
• Tags: cuda gpu compiler python llvm numpy
• 最后活动时间: 2026-04-18

cupy

GPU加速的NumPy与SciPy替代库，为AI/ML计算提供高性能CUDA加速支持。

• Stars: ⭐️ 10.9k
• Tags: gpu cuda numpy scipy deep-learning
• 最后活动时间: 2026-04-18

nvtop

类似 htop 的 GPU 进程监控工具，支持 NVIDIA、AMD、Intel、Apple 等多厂商 GPU。AI 从业者必备的系统监控利器，实时查看显存和计算资源占用。

• Stars: ⭐️ 10.5k
• Tags: gpu monitoring nvidia amd terminal
• 最后活动时间: 2026-02-08

xformers

Meta开源的可扩展Transformer优化库，提供高效内存优化的注意力机制实现，显著提升大模型训练和推理效率。

• Stars: ⭐️ 10.4k
• Tags: transformers optimization memory-efficient attention
• 最后活动时间: 2026-04-17

LeetCUDA

现代CUDA学习笔记，包含200+ CUDA内核、Tensor Cores与Flash Attention实现。

• Stars: ⭐️ 10.3k
• Tags: cuda gpu flash-attention
• 最后活动时间: 2026-04-18

accelerate

Hugging Face 出品的 PyTorch 加速库，支持多设备训练、分布式配置、混合精度训练和 FSDP/DeepSpeed，让模型训练更简单高效。

• Stars: ⭐️ 9.6k
• Tags: PyTorch Distributed Training Mixed Precision
• 最后活动时间: 2026-04-17

cudf

NVIDIA RAPIDS生态的GPU DataFrame库，提供类似Pandas的API，实现大规模数据的GPU加速处理。

• Stars: ⭐️ 9.6k
• Tags: GPU加速 DataFrame RAPIDS
• 最后活动时间: 2026-04-18

cutlass

NVIDIA开源的高性能CUDA模板库，专为深度学习线性代数运算优化，支持Tensor Core加速。

• Stars: ⭐️ 9.6k
• Tags: cuda deep-learning gpu nvidia linear-algebra
• 最后活动时间: 2026-04-17

apex

NVIDIA官方PyTorch扩展，提供混合精度训练与分布式训练工具。

• Stars: ⭐️ 8.9k
• Tags: mixed-precision distributed-training pytorch
• 最后活动时间: 2026-04-13

ipex-llm

Intel XPU上的LLM推理和微调加速库，支持主流开源模型和多种推理框架集成。

• Stars: ⭐️ 8.8k
• Tags: LLM Intel Acceleration
• 最后活动时间: 2026-01-28

bitsandbytes

PyTorch量化工具库，提供k-bit量化支持，是LLM量化和高效推理的核心依赖库。

• Stars: ⭐️ 8.1k
• Tags: Quantization PyTorch LLM
• 最后活动时间: 2026-04-17

OptiScaler

跨GPU的AI超分辨率和帧生成桥接工具，支持DLSS/XeSS/FSR输入转换，让非FG游戏也能使用FSR3帧生成技术。

• Stars: ⭐️ 7.9k
• Tags: dlss fsr xess upscaling frame-generation gpu
• 最后活动时间: 2026-04-18

tensorrtx

使用TensorRT网络定义API实现主流深度学习网络的高性能推理加速，支持YOLO系列、ResNet、Swin Transformer等热门模型。

• Stars: ⭐️ 7.7k
• Tags: tensorrt deep-learning inference yolo gpu-acceleration
• 最后活动时间: 2026-03-07

rust-gpu

让Rust成为GPU着色器的一等编程语言，为AI计算和图形渲染提供现代化开发体验。

• Stars: ⭐️ 7.6k
• Tags: rust gpu-programming shaders gpu-compute
• 最后活动时间: 2025-10-31

nvitop

交互式NVIDIA GPU进程监控管理工具，支持Prometheus导出和Grafana仪表板集成。

• Stars: ⭐️ 6.8k
• Tags: GPU Monitoring NVIDIA DevOps
• 最后活动时间: 2026-04-01

ANE

通过逆向工程在Apple Neural Engine上训练神经网络的实验性项目。

• Stars: ⭐️ 6.6k
• Tags: apple-neural-engine hardware-acceleration core-ml
• 最后活动时间: 2026-03-10

warp

NVIDIA开发的Python GPU加速框架，支持可微分编程，适用于物理仿真和空间计算。

• Stars: ⭐️ 6.5k
• Tags: cuda gpu differentiable-programming simulation python
• 最后活动时间: 2026-04-18

ROCm

AMD开源GPU计算平台，为AI/ML工作负载提供高性能硬件加速支持，是NVIDIA CUDA的主要竞争对手。

• Stars: ⭐️ 6.4k
• Tags: GPU AMD Hardware Acceleration Deep Learning
• 最后活动时间: 2026-04-17

stable-diffusion.cpp

纯C/C++实现的扩散模型推理框架，支持SD、Flux、Wan等多种模型，无需依赖即可高效运行。

• Stars: ⭐️ 5.8k
• Tags: C++ Inference Diffusion GGML
• 最后活动时间: 2026-04-18

DALI

NVIDIA开发的GPU加速数据处理库，为深度学习训练和推理提供高效的数据管道。

• Stars: ⭐️ 5.7k
• Tags: deep-learning gpu data-processing image-processing
• 最后活动时间: 2026-04-17

tilelang

专为高性能GPU/CPU/加速器内核开发设计的领域特定语言，可显著简化AI算子优化流程。

• Stars: ⭐️ 5.5k
• Tags: dsl gpu kernel high-performance cuda
• 最后活动时间: 2026-04-18

flashinfer

专为LLM推理设计的高性能GPU内核库，支持注意力机制、MoE等关键算子的JIT编译优化。

• Stars: ⭐️ 5.4k
• Tags: CUDA LLM Inference GPU Kernels Attention
• 最后活动时间: 2026-04-18

tpu

Google Cloud TPU官方参考模型和工具集，支持大规模AI模型训练加速。

• Stars: ⭐️ 5.3k
• Tags: TPU Hardware Google Cloud
• 最后活动时间: 2026-03-25

cuml

NVIDIA RAPIDS机器学习库，提供GPU加速的经典ML算法实现，包括聚类、分类、回归等。

• Stars: ⭐️ 5.2k
• Tags: cuda machine-learning gpu rapids
• 最后活动时间: 2026-04-18

rust-cuda

纯Rust编写的CUDA生态系统，支持在Rust中直接编写和执行高性能GPU代码，为AI模型训练和推理提供底层加速支持。

• Stars: ⭐️ 5.2k
• Tags: cuda gpu rust gpgpu
• 最后活动时间: 2026-04-16

arrayfire

通用GPU计算库，支持CUDA、OpenCL和CPU后端，为AI/ML工作负载提供高性能并行计算能力。

• Stars: ⭐️ 4.9k
• Tags: GPU CUDA OpenCL HPC
• 最后活动时间: 2026-03-07

gpustack

高性能GPU推理工具，支持vLLM/SGLang等引擎优化，实现卓越的LLM推理吞吐量和资源利用率。

• Stars: ⭐️ 4.9k
• Tags: GPU Inference vLLM LLM Serving
• 最后活动时间: 2026-04-17

mlx-lm

基于Apple MLX框架的大语言模型推理库，专为Apple Silicon芯片优化加速。

• Stars: ⭐️ 4.8k
• Tags: MLX Apple Silicon LLM
• 最后活动时间: 2026-04-15

AITemplate

Meta开源的AI推理框架，将神经网络渲染为高性能CUDA/HIP C++代码，专为NVIDIA和AMD GPU推理优化。

• Stars: ⭐️ 4.7k
• Tags: inference cuda gpu optimization
• 最后活动时间: 2026-04-09

nccl

NVIDIA开源的多GPU集合通信原语库，为深度学习分布式训练提供高效通信支持。

• Stars: ⭐️ 4.6k
• Tags: cuda gpu distributed-training communication
• 最后活动时间: 2026-04-18

jetson-containers

为NVIDIA Jetson设备提供开箱即用的机器学习容器镜像，支持PyTorch、TensorFlow等主流框架。

• Stars: ⭐️ 4.6k
• Tags: NVIDIA Jetson Docker ML Containers
• 最后活动时间: 2026-04-15

tiny-cuda-nn

轻量级高性能CUDA神经网络框架，支持实时MLP和NeRF渲染，速度极快。

• Stars: ⭐️ 4.5k
• Tags: cuda neural-network gpu nerf
• 最后活动时间: 2026-04-01

mlx-vlm

在Mac上使用MLX进行视觉语言模型推理和微调的工具包。支持LLaVA、Florence2、Pixtral等多种VLM模型。

• Stars: ⭐️ 4.4k
• Tags: MLX Vision Language Apple Silicon
• 最后活动时间: 2026-04-18

hip

AMD开发的C++异构计算接口，实现CUDA代码向AMD GPU的便携式迁移。

• Stars: ⭐️ 4.3k
• Tags: cuda hip gpu amd heterogeneous-computing
• 最后活动时间: 2026-04-16

LACT

Linux GPU配置与监控工具，支持AMD和NVIDIA显卡，适用于AI开发者的GPU资源管理与性能调优。

• Stars: ⭐️ 4.2k
• Tags: gpu nvidia amdgpu linux monitoring
• 最后活动时间: 2026-04-18

xla

Google开源的机器学习编译器，优化GPU、CPU和ML加速器上的模型执行性能。

• Stars: ⭐️ 4.2k
• Tags: compiler gpu optimization tensorflow
• 最后活动时间: 2026-04-19

oneDNN

Intel开源的深度神经网络库，针对多种CPU架构和硬件加速器进行优化，支持AVX512、AMX等指令集。

• Stars: ⭐️ 4.0k
• Tags: Deep Learning Neural Network Hardware Acceleration
• 最后活动时间: 2026-04-17

Nunchaku

ICLR2025 Spotlight，面向4-bit扩散模型的量化方法，通过低秩组件吸收异常值实现高效生成。

• Stars: ⭐️ 3.8k
• Tags: Quantization Diffusion Flux
• 最后活动时间: 2026-03-07

k8s-device-plugin

NVIDIA官方Kubernetes设备插件，支持在K8s集群中调度和管理GPU资源，是AI/ML工作负载部署的核心基础设施组件。

• Stars: ⭐️ 3.7k
• Tags: kubernetes nvidia gpu device-plugin
• 最后活动时间: 2026-04-17

tvm-cn

TVM深度学习编译器框架的中文文档，涵盖模型优化、跨平台部署和硬件加速等核心内容。

• Stars: ⭐️ 3.7k
• Tags: deep-learning gpu machine-learning tvm compiler
• 最后活动时间: 2026-03-12

StringZilla

高性能字符串处理库，支持SIMD和GPU加速，提供搜索、哈希、排序、编辑距离计算等功能，速度提升高达100倍。

• Stars: ⭐️ 3.4k
• Tags: string simd gpu cuda edit-distance search
• 最后活动时间: 2026-03-23

zml

跨平台AI推理框架，支持任意模型和硬件，基于Zig语言构建，实现零妥协的高性能部署。

• Stars: ⭐️ 3.4k
• Tags: ai inference zig xla hpc
• 最后活动时间: 2026-04-17

optimum

Hugging Face官方硬件优化工具包，加速Transformers和Diffusers模型的推理与训练，支持ONNX、量化及多硬件后端。

• Stars: ⭐️ 3.4k
• Tags: 模型优化 推理加速 量化
• 最后活动时间: 2026-04-15

HAMi

Kubernetes异构GPU共享解决方案，支持NVIDIA、华为昇腾、寒武纪等多种GPU的虚拟化与资源调度。

• Stars: ⭐️ 3.3k
• Tags: kubernetes gpu-virtualization gpu-sharing vgpu
• 最后活动时间: 2026-04-17

SageAttention

ICLR2025/ICML2025/NeurIPS2025 Spotlight，量化注意力机制实现2-5倍加速，无损端到端性能。

• Stars: ⭐️ 3.3k
• Tags: Attention Quantization Acceleration
• 最后活动时间: 2026-01-17

TransformerEngine

NVIDIA推出的Transformer模型加速库，支持FP8/FP4低精度训练与推理，显著提升Hopper/Ada/Blackwell GPU性能并降低显存占用。

• Stars: ⭐️ 3.3k
• Tags: deep-learning gpu cuda pytorch transformers
• 最后活动时间: 2026-04-17

cuda-python

NVIDIA官方CUDA Python绑定库，让Python开发者能够充分利用GPU并行计算能力，实现高性能计算。

• Stars: ⭐️ 3.2k
• Tags: cuda gpu python nvidia high-performance
• 最后活动时间: 2026-04-19

jittor

基于JIT编译和元算子的高性能深度学习框架，提供高效的模型训练与推理能力。

• Stars: ⭐️ 3.2k
• Tags: deep-learning gpu jit python neural-network
• 最后活动时间: 2026-04-14

ComputeLibrary

Arm官方推出的计算机视觉与机器学习函数库，针对Arm CPU/GPU进行SIMD优化，支持NEON/SVE指令集。

• Stars: ⭐️ 3.1k
• Tags: machine-learning computer-vision arm simd neural-network
• 最后活动时间: 2026-04-17

how-to-optim-algorithm-in-cuda

CUDA算法优化实践指南，涵盖LLM相关算子的GPU加速技巧。

• Stars: ⭐️ 2.9k
• Tags: CUDA GPU Optimization
• 最后活动时间: 2026-04-16

luminal

高性能深度学习框架，追求极致的计算速度优化。

• Stars: ⭐️ 2.8k
• Tags: deep-learning performance framework
• 最后活动时间: 2026-04-18

ao

PyTorch官方量化和稀疏性优化库，支持float8等现代数据类型，加速训练与推理。

• Stars: ⭐️ 2.8k
• Tags: 量化 稀疏性 PyTorch
• 最后活动时间: 2026-04-19

xla

PyTorch XLA扩展，支持在TPU等XLA设备上运行深度学习训练。

• Stars: ⭐️ 2.8k
• Tags: pytorch tpu xla deep-learning
• 最后活动时间: 2025-12-18

futhark

一种数据并行函数式编程语言，可将高级代码编译为高性能GPU代码，支持CUDA和OpenCL。

• Stars: ⭐️ 2.7k
• Tags: gpgpu gpu compiler cuda opencl
• 最后活动时间: 2026-04-16

CV-CUDA

由ByteDance和NVIDIA联合开发的开源GPU加速计算机视觉库，专为云端大规模图像处理设计。

• Stars: ⭐️ 2.7k
• Tags: computer-vision cuda gpu image-processing
• 最后活动时间: 2026-03-31

xsimd

跨平台SIMD指令集封装库，支持SSE、AVX、NEON等指令集，为AI推理和数值计算提供硬件级加速优化。

• Stars: ⭐️ 2.7k
• Tags: simd vectorization hardware-acceleration cpp
• 最后活动时间: 2026-04-18

ipyparallel

IPython并行计算框架，支持交互式并行数据处理与模型训练加速。

• Stars: ⭐️ 2.6k
• Tags: parallel-computing ipython distributed python
• 最后活动时间: 2026-04-16

blis

高性能线性代数库，为AI框架提供底层矩阵运算加速支持。

• Stars: ⭐️ 2.6k
• Tags: blas linear-algebra high-performance-computing matrix-operations
• 最后活动时间: 2025-11-11

aimet

高通开发的神经网络量化压缩库，提供先进的量化和剪枝技术。

• Stars: ⭐️ 2.6k
• Tags: 模型量化 模型压缩 深度学习
• 最后活动时间: 2026-04-18

DirectML

微软推出的高性能机器学习GPU加速库，基于DirectX 12，支持AMD、Intel、NVIDIA等全系列GPU硬件加速。

• Stars: ⭐️ 2.6k
• Tags: GPU加速 DirectX 机器学习
• 最后活动时间: 2026-02-20

kompute

基于Vulkan的通用GPU计算框架，支持跨厂商显卡，适用于深度学习和机器学习加速。

• Stars: ⭐️ 2.5k
• Tags: gpu-computing vulkan deep-learning
• 最后活动时间: 2026-04-13

neural-engine

Apple Neural Engine (ANE) 技术文档，涵盖CoreML、iOS神经网络加速等硬件细节。

• Stars: ⭐️ 2.5k
• Tags: neural-engine coreml ios hardware-acceleration neural-network
• 最后活动时间: 2026-03-12

TypeGPU

基于WebGPU的模块化工具包，支持TypeScript编写着色器，提供高级类型推断能力。

• Stars: ⭐️ 2.3k
• Tags: webgpu gpu-computing typescript gpgpu
• 最后活动时间: 2026-04-18

XNNPACK

高效的浮点神经网络推理算子库，针对移动端、服务器和Web平台优化，支持SIMD加速。

• Stars: ⭐️ 2.3k
• Tags: CPU推理 SIMD 移动端 性能优化
• 最后活动时间: 2026-04-18

cccl

NVIDIA官方CUDA核心计算库，为AI框架提供GPU加速的基础计算能力，是深度学习底层优化的基石。

• Stars: ⭐️ 2.3k
• Tags: CUDA GPU NVIDIA
• 最后活动时间: 2026-04-18

Simd

C++高性能图像处理与机器学习库，利用SIMD指令集(SSE/AVX/NEON)实现硬件加速。

• Stars: ⭐️ 2.2k
• Tags: simd image-processing neural-network
• 最后活动时间: 2026-04-17

coralnpu

面向边缘AI的能效优化机器学习加速器核心设计。

• Stars: ⭐️ 2.2k
• Tags: npu edge-ai hardware-accelerator machine-learning
• 最后活动时间: 2026-04-17

mirage

将LLM编译为持久化内核的优化框架，通过MegaKernel技术提升大模型推理性能。

• Stars: ⭐️ 2.2k
• Tags: LLM Kernel Optimization
• 最后活动时间: 2026-04-19

cugraph

NVIDIA RAPIDS图分析库，提供GPU加速的大规模图计算和图神经网络支持。

• Stars: ⭐️ 2.2k
• Tags: graph-analytics cuda gpu rapids graph-neural-network
• 最后活动时间: 2026-04-17

ik_llama.cpp

llama.cpp的高性能分支，提供SOTA量化方案和优化的推理性能，适合本地部署大语言模型。

• Stars: ⭐️ 2.1k
• Tags: llm inference quantization cpp
• 最后活动时间: 2026-04-18

dstack

开源GPU控制平面，支持在多云和本地环境运行AI开发、训练和推理任务，简化LLM和深度学习工作负载编排。

• Stars: ⭐️ 2.1k
• Tags: GPU ML Infrastructure Training Inference
• 最后活动时间: 2026-04-18

cubecl

多平台高性能计算语言扩展，支持CUDA、WebGPU等后端，为Rust提供GPU加速计算能力。

• Stars: ⭐️ 2.1k
• Tags: GPU CUDA WebGPU Rust
• 最后活动时间: 2026-04-18

pycuda

undefined

• Stars: ⭐️ 2.0k
• Tags: cuda gpu gpu-computing python scientific-computing
• 最后活动时间: 2026-03-27

cutile-python

NVIDIA cuTile Python编程模型，简化GPU并行内核开发，支持基于Tile的编程范式。

• Stars: ⭐️ 2.0k
• Tags: cuda gpu kernel python parallel-computing
• 最后活动时间: 2026-04-18

intel-extension-for-pytorch

Intel官方PyTorch扩展，优化Intel平台上的深度学习性能。

• Stars: ⭐️ 2.0k
• Tags: pytorch intel optimization quantization
• 最后活动时间: 2026-03-30

onediff

开箱即用的扩散模型加速库，支持Stable Diffusion、SDXL、ComfyUI等主流框架，显著提升推理性能。

• Stars: ⭐️ 2.0k
• Tags: diffusion-models stable-diffusion cuda inference-acceleration
• 最后活动时间: 2025-12-04

vllm-ascend

vLLM在华为昇腾NPU上的硬件适配插件，支持在Ascend硬件上高效运行大模型推理服务。

• Stars: ⭐️ 1.9k
• Tags: vLLM Ascend 硬件加速
• 最后活动时间: 2026-04-18

hls4ml

将机器学习模型部署到 FPGA 的开源库，利用高级综合技术实现神经网络硬件加速，适用于低延迟推理场景。

• Stars: ⭐️ 1.9k
• Tags: FPGA HLS 硬件加速 边缘部署
• 最后活动时间: 2026-04-17

awesome-webgpu

WebGPU生态系统精选资源列表，涵盖GPU计算、3D图形和浏览器端机器学习推理加速技术。

• Stars: ⭐️ 1.9k
• Tags: webgpu gpu-computing machine-learning browser-ai
• 最后活动时间: 2026-01-21

scuda

GPU over IP 网络桥接工具，允许 CPU-only 机器远程挂载和使用远程 GPU 资源，支持 CUDA、cuDNN 等深度学习加速库。

• Stars: ⭐️ 1.9k
• Tags: GPU CUDA Networking MLOps
• 最后活动时间: 2026-01-04

lapack

工业级线性代数计算库，是深度学习框架的核心依赖。

• Stars: ⭐️ 1.8k
• Tags: lapack blas linear-algebra matrix-factorization svd
• 最后活动时间: 2026-04-19

AdaptiveCpp

跨平台异构计算编译器，支持SYCL、HIP/CUDA等多种编程模型，让AI应用无缝适配不同厂商的CPU和GPU硬件。

• Stars: ⭐️ 1.8k
• Tags: sycl gpu-computing heterogeneous-computing cuda compiler
• 最后活动时间: 2026-04-17

NumKong

高性能SIMD加速数值计算库，支持16种数值类型的距离计算、矩阵运算和向量搜索，跨平台支持x86、Arm、RISC-V和WASM。

• Stars: ⭐️ 1.8k
• Tags: SIMD 数值计算 向量搜索
• 最后活动时间: 2026-04-16

moderngpu

GPU计算模式与行为库，提供高效的并行算法实现，适用于深度学习底层优化。

• Stars: ⭐️ 1.8k
• Tags: gpu gpgpu cuda parallel-computing
• 最后活动时间: 2026-01-17

Vitis-AI

Xilinx官方AI推理开发栈，支持边缘设备和Alveo加速卡的AI模型部署。

• Stars: ⭐️ 1.8k
• Tags: ai-inference fpga edge-ai hardware-acceleration xilinx
• 最后活动时间: 2026-02-24

VkFFT

跨平台高性能FFT库，支持Vulkan、CUDA、HIP、OpenCL等多种GPU后端，适用于AI音频处理和信号处理场景。

• Stars: ⭐️ 1.7k
• Tags: fft cuda vulkan gpu-computing opencl
• 最后活动时间: 2026-04-04

ILGPU

高性能 .NET GPU JIT 编译器，支持 CUDA、OpenCL 和 CPU 后端，为 AI 计算提供跨平台 GPU 加速能力。

• Stars: ⭐️ 1.7k
• Tags: gpu-computing jit-compiler cuda opencl dotnet
• 最后活动时间: 2026-04-17

dcgm-exporter

NVIDIA GPU监控指标导出器，集成DCGM为Prometheus提供GPU性能数据，适用于AI集群监控。

• Stars: ⭐️ 1.7k
• Tags: gpu prometheus monitoring nvidia kubernetes
• 最后活动时间: 2026-04-07

compute

基于OpenCL的C++ GPU计算库，为AI/ML工作负载提供高性能并行计算能力。

• Stars: ⭐️ 1.6k
• Tags: gpu-computing opencl gpgpu hpc parallel-computing
• 最后活动时间: 2026-03-11

tfhe-rs

纯Rust实现的TFHE全同态加密方案，支持在加密数据上进行布尔和整数运算。为隐私保护AI和机密机器学习提供核心密码学基础设施。

• Stars: ⭐️ 1.6k
• Tags: homomorphic-encryption cryptography privacy-preserving rust
• 最后活动时间: 2026-04-17

BarraCUDA

开源CUDA编译器，支持将CUDA代码编译至AMD和Tenstorrent GPU架构。

• Stars: ⭐️ 1.6k
• Tags: CUDA compiler GPU cross-platform
• 最后活动时间: 2026-03-25

kernl

一行代码加速PyTorch Transformer模型GPU推理，基于Triton的高性能内核优化。

• Stars: ⭐️ 1.6k
• Tags: CUDA PyTorch Transformer GPU
• 最后活动时间: 2026-01-28

Enzyme

高性能自动微分编译器，支持LLVM和MLIR，为PyTorch、TensorFlow等深度学习框架提供梯度计算优化。

• Stars: ⭐️ 1.6k
• Tags: Automatic Differentiation Compiler Deep Learning LLVM
• 最后活动时间: 2026-04-18

Anemll

专为Apple Neural Engine设计的机器学习库，支持在Apple Silicon上高效运行神经网络模型。

• Stars: ⭐️ 1.6k
• Tags: machine-learning neural-engine apple-silicon core-ml
• 最后活动时间: 2026-03-10

Vitis-Tutorials

Xilinx Vitis深度教程，涵盖FPGA、HLS和AI引擎的硬件加速开发技术。

• Stars: ⭐️ 1.6k
• Tags: fpga hls aiengine vitis hardware-acceleration
• 最后活动时间: 2026-03-25

FBGEMM

Facebook开源的高性能矩阵乘法库，专为深度学习推理优化，支持低精度计算和CPU加速。

• Stars: ⭐️ 1.6k
• Tags: deep-learning inference matrix-multiplication optimization
• 最后活动时间: 2026-04-18

brevitas

PyTorch神经网络量化库，支持PTQ和QAT量化方法，优化模型在FPGA等硬件上的部署性能。

• Stars: ⭐️ 1.5k
• Tags: quantization pytorch fpga
• 最后活动时间: 2026-04-16

gpu-hot

实时NVIDIA GPU监控仪表板，支持LLM训练和MLOps场景下的GPU资源可视化监控。

• Stars: ⭐️ 1.5k
• Tags: GPU Monitoring NVIDIA MLOps
• 最后活动时间: 2026-04-11

picolm

在10美元的开发板上运行10亿参数大语言模型的轻量级推理方案，支持256MB RAM的嵌入式设备。

• Stars: ⭐️ 1.5k
• Tags: LLM Embedded Quantization Edge AI
• 最后活动时间: 2026-02-22

mllm

面向移动设备的高效多模态大语言模型推理框架，优化端侧性能。

• Stars: ⭐️ 1.5k
• Tags: Multimodal Mobile Inference
• 最后活动时间: 2026-04-12

nvidia_gpu_exporter

基于nvidia-smi的Prometheus GPU监控导出器，可实时监控GPU使用率、显存、温度等关键指标，适合AI训练和推理场景的资源监控。

• Stars: ⭐️ 1.5k
• Tags: GPU监控 Prometheus NVIDIA
• 最后活动时间: 2026-04-18

lightning-thunder

PyTorch编译器，加速训练和推理过程。提供内置的性能、内存和并行优化，支持自定义优化扩展。

• Stars: ⭐️ 1.5k
• Tags: pytorch compiler optimization deep-learning
• 最后活动时间: 2026-04-13

TornadoVM

一个高效的异构编程框架，支持Java等托管语言在GPU上运行，实现透明的并行计算加速。

• Stars: ⭐️ 1.4k
• Tags: GPU CUDA Parallel Computing
• 最后活动时间: 2026-04-16

deepops

用于构建GPU集群的工具集，支持深度学习和HPC工作负载的部署与管理。

• Stars: ⭐️ 1.4k
• Tags: gpu cluster deep-learning hpc infrastructure
• 最后活动时间: 2026-02-23

tt-metal

Tenstorrent AI加速器底层编程框架，支持LLaMA、DeepSeek、Stable Diffusion等主流模型的硬件加速优化。

• Stars: ⭐️ 1.4k
• Tags: AI加速器 硬件优化 LLM
• 最后活动时间: 2026-04-19

MatX

现代C++20 GPU数值计算库，提供Python风格的简洁语法，专为高性能计算优化。

• Stars: ⭐️ 1.4k
• Tags: GPU Computing C++ HPC
• 最后活动时间: 2026-04-18

CUDA.jl

Julia语言的CUDA编程接口，提供完整的GPU计算支持和高性能并行编程能力。

• Stars: ⭐️ 1.4k
• Tags: CUDA Julia GPU
• 最后活动时间: 2026-04-18

compute-runtime

Intel显卡计算运行时，支持oneAPI Level Zero和OpenCL驱动，为AI计算提供底层GPU加速支持。

• Stars: ⭐️ 1.4k
• Tags: opencl gpu intel compute
• 最后活动时间: 2026-04-17

scikit-learn-intelex

Intel推出的Scikit-learn加速扩展，通过oneAPI无缝提升机器学习算法性能，支持CPU/GPU加速。

• Stars: ⭐️ 1.3k
• Tags: Scikit-learn GPU Acceleration Intel Performance
• 最后活动时间: 2026-04-18

eve

高性能C++ SIMD向量计算库，为机器学习和科学计算提供硬件加速支持。

• Stars: ⭐️ 1.3k
• Tags: simd cpp hpc vectorization performance
• 最后活动时间: 2026-04-18

claude-code-local

在Apple Silicon上本地运行Claude Code，122B模型可达41 tok/s，无需云端和API费用。

• Stars: ⭐️ 1.3k
• Tags: local-llm apple-silicon claude-code
• 最后活动时间: 2026-04-18

uccl

高效的GPU通信库，支持集合通信、P2P传输（KV缓存、RL权重）和端点通信，专为AI/LLM工作负载优化。

• Stars: ⭐️ 1.3k
• Tags: GPU RDMA LLM HPC
• 最后活动时间: 2026-04-18

armnn

Arm官方机器学习软件栈，为Arm处理器提供高效的神经网络推理加速。

• Stars: ⭐️ 1.3k
• Tags: arm machine-learning neural-network embedded
• 最后活动时间: 2026-01-23

Oceananigans.jl

基于Julia的高性能流体动力学模拟框架，支持CPU和GPU加速计算，集成机器学习功能用于气候和海洋科学研究。

• Stars: ⭐️ 1.3k
• Tags: fluid-dynamics gpu julia machine-learning scientific-computing
• 最后活动时间: 2026-04-18

stdgpu

高效的GPU端STL风格数据结构库，支持CUDA和HIP，为GPU计算提供类STL的便捷接口。

• Stars: ⭐️ 1.3k
• Tags: cuda gpu data-structures cpp hip
• 最后活动时间: 2026-04-10

autokernel

自动化GPU内核优化工具，输入PyTorch模型自动生成优化的Triton内核。

• Stars: ⭐️ 1.2k
• Tags: cuda triton gpu pytorch optimization
• 最后活动时间: 2026-03-19

awesome-high-performance-computing

高性能计算资源精选列表，涵盖HPC核心技术与资源，对大规模AI模型训练至关重要。

• Stars: ⭐️ 1.2k
• Tags: hpc high-performance-computing supercomputing parallel-computing
• 最后活动时间: 2026-04-17

gputil

Python模块，用于通过nvidia-smi以编程方式获取NVIDIA GPU的状态信息，适合AI训练监控。

• Stars: ⭐️ 1.2k
• Tags: gpu nvidia monitoring python
• 最后活动时间: 2026-04-02

languagemodels

在512MB内存中运行大语言模型，适合边缘设备和低资源环境。

• Stars: ⭐️ 1.2k
• Tags: llm edge-computing optimization
• 最后活动时间: 2026-02-19

FastFlowLM

专为AMD Ryzen AI NPU优化的本地LLM运行工具，类似Ollama但深度适配AMD硬件，充分发挥NPU加速能力。

• Stars: ⭐️ 1.2k
• Tags: AMD NPU 本地部署
• 最后活动时间: 2026-04-18

detect-gpu

基于3D渲染基准分数对GPU进行分类，帮助开发者为图形密集型AI应用提供合理的默认设置。

• Stars: ⭐️ 1.2k
• Tags: gpu-detection webgl hardware-detection benchmark
• 最后活动时间: 2026-04-15

CLBlast

优化的OpenCL BLAS库，提供GPU加速的矩阵运算，是AI计算的基础设施组件。

• Stars: ⭐️ 1.2k
• Tags: blas opencl gpu linear-algebra
• 最后活动时间: 2026-04-13

keops

高效的内核运算库，支持CPU和GPU上的自动微分，无内存溢出问题，适用于大规模机器学习计算。

• Stars: ⭐️ 1.2k
• Tags: gpu autodiff kernel-operations machine-learning pytorch
• 最后活动时间: 2026-04-15

react-native-fast-tflite

高性能React Native TensorFlow Lite库，支持GPU加速，为移动端AI推理提供高效解决方案。

• Stars: ⭐️ 1.2k
• Tags: TensorFlow Lite React Native Mobile AI
• 最后活动时间: 2026-04-17

NVTabular

NVIDIA开源的表格数据特征工程库，专为TB级推荐系统数据集设计，支持GPU加速预处理。

• Stars: ⭐️ 1.1k
• Tags: deep-learning feature-engineering gpu recommendation-system nvidia
• 最后活动时间: 2026-03-12

pyopencl

Python的OpenCL集成库，提供GPU并行计算能力，支持多维数组和科学计算。

• Stars: ⭐️ 1.1k
• Tags: opencl gpu python parallel-computing
• 最后活动时间: 2026-04-06

neanderthal

高性能Clojure矩阵运算库，支持CPU和GPU加速，适用于机器学习和科学计算场景。

• Stars: ⭐️ 1.1k
• Tags: clojure matrix gpu cuda opencl
• 最后活动时间: 2026-02-22

cudarc

Rust语言的CUDA安全封装库，提供CUDA、cuDNN、cuBLAS等工具的Rust绑定，便于GPU加速开发。

• Stars: ⭐️ 1.1k
• Tags: cuda rust gpu cudnn cublas
• 最后活动时间: 2026-03-25

gunrock

高性能CUDA/C++ GPU图分析库，支持大规模图计算的并行加速。

• Stars: ⭐️ 1.1k
• Tags: gpu cuda graph-analytics gnn high-performance
• 最后活动时间: 2026-02-28

thrml

基于JAX构建的热力学超图模型库，支持概率计算与概率图模型的高效实现。

• Stars: ⭐️ 1.1k
• Tags: jax machine-learning probabilistic-computing
• 最后活动时间: 2026-03-26

HugeCTR

NVIDIA开源的高效GPU框架，专为点击率(CTR)预估训练设计，支持大规模推荐系统。

• Stars: ⭐️ 1.1k
• Tags: deep-learning gpu-acceleration recommendation-system ctr
• 最后活动时间: 2026-03-12

agi

Android官方GPU性能分析工具，支持AI应用性能调优与调试。

• Stars: ⭐️ 1.1k
• Tags: android gpu profiler performance
• 最后活动时间: 2026-04-13

jaxopt

基于JAX的硬件加速、可批处理和可微分优化器库，支持多种优化算法的高效实现。

• Stars: ⭐️ 1.0k
• Tags: jax optimization deep-learning differentiable-programming
• 最后活动时间: 2025-12-17

auto-round

Intel开源的高精度LLM量化工具包，支持MXFP4、NVFP4、GGUF等多种格式，以精度优先设计最大限度减少量化损失。

• Stars: ⭐️ 1.0k
• Tags: 量化 LLM Intel
• 最后活动时间: 2026-04-18

cuda-quantum

NVIDIA量子计算编程框架，支持异构量子-经典混合工作流和量子机器学习。

• Stars: ⭐️ 1.0k
• Tags: quantum-computing cuda quantum-ml nvidia
• 最后活动时间: 2026-04-19

veScale

字节跳动开源的PyTorch分布式训练框架，专为LLM与RL大规模训练设计。

• Stars: ⭐️ 1.0k
• Tags: pytorch distributed llm-training scalable
• 最后活动时间: 2026-03-03

onnx-mlir

基于MLIR编译器基础设施的ONNX模型表示与底层优化工具，支持将ONNX模型编译为高效机器码。

• Stars: ⭐️ 1.0k
• Tags: onnx mlir compiler machine-learning inference
• 最后活动时间: 2026-04-16

mlx-engine

LM Studio的Apple MLX推理引擎，专为Apple Silicon优化的本地模型运行方案。

• Stars: ⭐️ 1.0k
• Tags: mlx apple-silicon local-inference
• 最后活动时间: 2026-04-14

LuisaCompute

高性能跨平台渲染框架，支持CUDA、DirectX、Metal等多种后端，可用于AI图形计算加速。

• Stars: ⭐️ 1.0k
• Tags: cuda gpu rendering raytracing cross-platform
• 最后活动时间: 2026-04-18

raft

NVIDIA提供的CUDA加速机器学习基础算法库，涵盖向量搜索、聚类、线性代数等核心原语，是高性能AI应用的基础构建块。

• Stars: ⭐️ 994
• Tags: CUDA 向量搜索 GPU加速
• 最后活动时间: 2026-04-18

Tutel

优化的混合专家(MoE)库，支持GptOss/DeepSeek/Kimi-K2/Qwen3，兼容FP8/NVFP4/MXFP4量化。

• Stars: ⭐️ 984
• Tags: MoE Optimization Inference
• 最后活动时间: 2026-04-11

opt_einsum

优化NumPy、TensorFlow等框架中的einsum张量收缩运算，通过优化收缩顺序显著提升计算性能。

• Stars: ⭐️ 980
• Tags: Tensor Optimization Performance Deep Learning
• 最后活动时间: 2026-03-19

SpargeAttn

ICML2025论文实现，无需训练的稀疏注意力机制，可加速任意模型推理，支持LLM、视频生成和视觉Transformer。

• Stars: ⭐️ 977
• Tags: Sparse Attention Inference Optimization ICML2025
• 最后活动时间: 2026-02-25

spark-rapids

NVIDIA开发的Spark插件，利用GPU加速Apache Spark数据处理，显著提升大规模数据处理和机器学习工作负载的性能。

• Stars: ⭐️ 973
• Tags: GPU Spark Acceleration Big Data
• 最后活动时间: 2026-04-17

finn

用于FPGA上量化神经网络推理的数据流编译器，支持高效的硬件加速部署。

• Stars: ⭐️ 972
• Tags: compiler fpga neural-network quantization
• 最后活动时间: 2026-04-17

cupynumeric

支持多节点多GPU系统的NumPy和SciPy加速库，为大规模科学计算和机器学习提供高性能数值计算能力。

• Stars: ⭐️ 968
• Tags: gpu numpy scipy hpc numerical-computing
• 最后活动时间: 2026-04-18

accelerate

Haskell高性能数组计算嵌入式语言，支持GPU加速和并行计算。

• Stars: ⭐️ 955
• Tags: haskell gpu cuda parallel-computing
• 最后活动时间: 2026-04-02

libxsmm

专注于密集和稀疏矩阵运算的优化库，为深度学习提供高性能计算原语。

• Stars: ⭐️ 949
• Tags: blas simd matrix-multiplication deep-learning intel
• 最后活动时间: 2026-03-18

kineto

PyTorch官方使用的CPU/GPU性能分析库，提供时间线追踪和硬件性能计数器访问，帮助优化AI模型训练性能。

• Stars: ⭐️ 944
• Tags: profiling gpu pytorch performance tracing
• 最后活动时间: 2026-04-16

TheRock

轻量级开源构建系统，专为HIP和ROCm设计，支持AMD GPU的AI计算环境搭建。

• Stars: ⭐️ 941
• Tags: rocm hip gpu amd build-system
• 最后活动时间: 2026-04-19

cuda-tile

基于MLIR的CUDA内核优化编译器基础设施，专注于张量核心单元的Tile计算模式优化，提升AI推理性能。

• Stars: ⭐️ 940
• Tags: mlir cuda compiler tensor-core gpu-optimization
• 最后活动时间: 2026-04-01

hqq

半二次量化官方实现，高效压缩大模型同时保持性能。

• Stars: ⭐️ 929
• Tags: quantization llm optimization
• 最后活动时间: 2026-02-26

CUDA-Agent

基于大规模智能体强化学习的高性能CUDA内核生成框架，自动化GPU算子优化。

• Stars: ⭐️ 928
• Tags: cuda reinforcement-learning kernel-generation code-generation optimization
• 最后活动时间: 2026-03-04

tpu-mlir

基于MLIR的机器学习编译器，专为Sophgo TPU加速器优化，支持LLM模型部署。

• Stars: ⭐️ 901
• Tags: compiler mlir tpu llm
• 最后活动时间: 2026-04-01

OmniQuant

ICLR 2024 Spotlight论文，简单高效的LLM量化技术，优化模型部署效率。

• Stars: ⭐️ 892
• Tags: quantization large-language-models optimization
• 最后活动时间: 2025-11-26

cuda-api-wrappers

轻量级、统一的C++风格CUDA API封装库，简化GPU编程开发。

• Stars: ⭐️ 880
• Tags: cuda gpu gpgpu cpp
• 最后活动时间: 2026-02-16

nncase

开源深度学习编译器栈，专为Kendryte AI加速器设计，支持神经网络模型优化部署。

• Stars: ⭐️ 876
• Tags: ai-compiler deep-learning neural-network llm
• 最后活动时间: 2026-03-26

TinyNeuralNetwork

高效的深度学习模型压缩框架，支持剪枝、量化等模型优化技术。

• Stars: ⭐️ 874
• Tags: model-compression quantization pruning pytorch deep-learning
• 最后活动时间: 2026-03-03

rotorquant

KV缓存压缩方案，通过块对角旋转实现。比TurboQuant更优的PPL表现，解码速度提升28%，预填充速度提升5.3倍，参数量减少44倍，支持llama.cpp直接集成。

• Stars: ⭐️ 861
• Tags: quantization kv-cache llm compression
• 最后活动时间: 2026-04-14

kvcached

虚拟化弹性KV缓存系统，支持动态GPU共享与多租户LLM推理，显著提升GPU资源利用率。

• Stars: ⭐️ 859
• Tags: KV Cache GPU Sharing LLM Inference
• 最后活动时间: 2026-04-07

nvbench

NVIDIA CUDA内核基准测试库，帮助开发者精确测量和分析GPU内核性能。

• Stars: ⭐️ 854
• Tags: cuda benchmark gpu nvidia performance
• 最后活动时间: 2026-04-14

ComfyUI-MultiGPU

ComfyUI自定义节点，提供一键虚拟显存和多GPU集成支持，支持UNet和CLIP加载器的层卸载与Block Swap，最大化显卡潜空间利用。

• Stars: ⭐️ 850
• Tags: ComfyUI Multi-GPU Stable Diffusion VRAM优化
• 最后活动时间: 2026-03-21

amgcl

C++代数多重网格库，用于求解大规模稀疏线性系统，支持CUDA和OpenCL加速。

• Stars: ⭐️ 844
• Tags: cuda linear-solvers scientific-computing opencl
• 最后活动时间: 2026-04-01

helion

一个Python嵌入式DSL，用于编写快速、可扩展的ML内核，减少样板代码。

• Stars: ⭐️ 841
• Tags: ml-kernels dsl gpu-computing machine-learning
• 最后活动时间: 2026-04-19

causal-conv1d

高性能CUDA因果深度可分离一维卷积实现，提供PyTorch接口，适用于Mamba等状态空间模型。

• Stars: ⭐️ 837
• Tags: cuda pytorch convolution mamba state-space-model
• 最后活动时间: 2026-03-10

InferenceX

开源连续推理基准测试工具，支持Qwen3.5、DeepSeek、GPT等主流模型在GB200、H100、MI355X等多种硬件平台上的性能对比评测。

• Stars: ⭐️ 825
• Tags: Benchmark Inference GPU
• 最后活动时间: 2026-04-18

sleef

SIMD数学函数库，提供向量化的基础函数和DFT实现，支持多种CPU架构。

• Stars: ⭐️ 824
• Tags: simd math-library fft vectorization cuda
• 最后活动时间: 2025-12-25

cuopt

NVIDIA GPU加速决策优化求解器，支持线性规划等优化问题的高性能计算。

• Stars: ⭐️ 823
• Tags: cuda optimization gpu linear-programming operations-research
• 最后活动时间: 2026-04-18

TheArtofHPC_pdfs

高性能计算系列书籍与课程资源，涵盖并行计算、科学计算等AI基础设施核心知识。

• Stars: ⭐️ 809
• Tags: hpc parallel-computing scientific-computing course
• 最后活动时间: 2026-01-29

RyzenAI-SW

AMD Ryzen AI 软件套件，提供在 AMD Ryzen AI PC 上优化和部署 AI 推理的工具与运行时库。

• Stars: ⭐️ 802
• Tags: amd ryzen-ai inference hardware-acceleration
• 最后活动时间: 2026-04-17

jax-js

JAX的JavaScript实现，支持WebGPU和Wasm，让机器学习模型可直接在浏览器中高效运行。

• Stars: ⭐️ 797
• Tags: JAX Machine Learning WebGPU JavaScript
• 最后活动时间: 2026-04-15

ocl

Rust 语言的 OpenCL 绑定库，为 AI 和科学计算提供 GPU 加速能力。

• Stars: ⭐️ 785
• Tags: opencl rust gpgpu gpu-computing
• 最后活动时间: 2026-02-23

PatrickStar

支持更大、更快、更绿色的NLP预训练模型，降低AI训练门槛。

• Stars: ⭐️ 777
• Tags: bert pretraining nlp pytorch
• 最后活动时间: 2025-11-18

gpu-jupyter

GPU加速的JupyterLab环境，预装TensorFlow和PyTorch，支持可复现的深度学习实验。

• Stars: ⭐️ 771
• Tags: gpu-computing jupyter pytorch tensorflow deep-learning
• 最后活动时间: 2026-01-09

exllamav3

专为消费级GPU优化的LLM量化和推理库，支持在本地高效运行大语言模型。

• Stars: ⭐️ 770
• Tags: LLM Quantization Inference GPU
• 最后活动时间: 2026-04-18

oneMath

Intel oneAPI数学库，提供跨CPU/GPU的高性能BLAS、RNG等数学运算支持。

• Stars: ⭐️ 758
• Tags: oneapi blas gpu math-library
• 最后活动时间: 2026-03-30

GPUMD

基于GPU加速的分子动力学模拟工具，支持机器学习势能函数和神经网络势能，适用于材料科学和物理模拟领域。

• Stars: ⭐️ 754
• Tags: cuda molecular-dynamics machine-learning gpu neural-network
• 最后活动时间: 2026-04-19

NATTEN

快速多维稀疏注意力机制实现，为Transformer模型提供高效的局部注意力计算。

• Stars: ⭐️ 736
• Tags: cuda attention pytorch transformer sparse-attention
• 最后活动时间: 2026-04-14

dgx-spark-playbooks

NVIDIA DGX Spark设备AI/ML工作负载部署指南集合，专为Blackwell架构优化。提供详细的步骤化配置手册。

• Stars: ⭐️ 731
• Tags: nvidia dgx blackwell ai-infrastructure gpu
• 最后活动时间: 2026-04-14

ai-reference-models

Intel AI参考模型，针对Intel处理器和GPU优化的深度学习工作负载。

• Stars: ⭐️ 730
• Tags: ai cpu deep-learning inference tensorflow
• 最后活动时间: 2026-02-11

parca-agent

基于eBPF的持续性能分析工具，支持CPU和GPU性能监控，适用于Kubernetes环境下的AI工作负载优化。

• Stars: ⭐️ 717
• Tags: profiling gpu kubernetes observability cuda
• 最后活动时间: 2026-04-16

how-to-optimize-gemm

矩阵乘法优化教程，涵盖CPU和GPU上的GEMM高性能实现技术。

• Stars: ⭐️ 716
• Tags: cuda gemm optimization gpu matrix-multiplication
• 最后活动时间: 2026-02-24

lava

Intel开源的神经形态计算软件框架，支持类脑计算和脉冲神经网络开发，适用于Loihi等神经形态硬件。

• Stars: ⭐️ 714
• Tags: neuromorphic-computing neural-networks deep-learning spiking-neural-networks
• 最后活动时间: 2026-04-13

DCGM

NVIDIA数据中心GPU管理工具，用于收集GPU遥测数据和监控GPU健康状态，是AI基础设施运维的重要组件。

• Stars: ⭐️ 708
• Tags: nvidia gpu telemetry data-center monitoring
• 最后活动时间: 2026-03-30

buddy-mlir

基于MLIR的编译器框架，连接领域特定语言(DSL)与领域特定架构(DSA)，加速AI模型部署。

• Stars: ⭐️ 708
• Tags: mlir compiler dsl hardware-acceleration deep-learning
• 最后活动时间: 2026-04-18

Stim

高性能量子稳定器电路模拟库，支持量子错误校正和量子算法开发，适用于量子计算研究与AI硬件加速探索。

• Stars: ⭐️ 708
• Tags: quantum-computing quantum-algorithms quantum-simulation cirq
• 最后活动时间: 2026-04-18

rmm

RAPIDS内存管理器，为CUDA应用提供高效的GPU内存分配和管理。

• Stars: ⭐️ 693
• Tags: cuda memory-management rapids gpu nvidia
• 最后活动时间: 2026-04-16

magnetron

零依赖的C语言机器学习框架，提供现代Python API，支持CUDA加速，专注于执行和内存控制。

• Stars: ⭐️ 683
• Tags: machine-learning neural-network cuda ml-framework
• 最后活动时间: 2026-04-14

wgpu-py

Python的WebGPU接口实现，支持跨平台GPU计算与图形渲染。

• Stars: ⭐️ 664
• Tags: webgpu python gpu vulkan metal
• 最后活动时间: 2026-04-13

qsim

高性能量子电路状态向量模拟器，支持C++和Python，用于量子计算研究与量子算法开发。

• Stars: ⭐️ 653
• Tags: quantum-computing quantum-simulator quantum-algorithms cpp python
• 最后活动时间: 2026-04-13

qiskit-aer

IBM量子计算高性能电路模拟器，支持噪声模型和GPU加速，是量子机器学习研究的重要基础设施。

• Stars: ⭐️ 652
• Tags: quantum-computing qiskit simulator gpu
• 最后活动时间: 2026-02-26

qpp

现代C++量子计算库，提供量子态模拟和量子算法实现，支持量子门操作和量子电路构建。

• Stars: ⭐️ 651
• Tags: quantum-computing cpp simulator quantum
• 最后活动时间: 2026-04-17

optiland

基于PyTorch的GPU加速光学设计工具，支持可微分光线追踪，适用于光学系统优化与仿真。

• Stars: ⭐️ 649
• Tags: optics pytorch differentiable ray-tracing gpu simulation
• 最后活动时间: 2026-04-18

optiland

基于PyTorch的光学设计与仿真库，支持GPU加速和可微分光线追踪，适用于光学系统优化和科学计算。

• Stars: ⭐️ 649
• Tags: pytorch ray-tracing optics differentiable gpu
• 最后活动时间: 2026-04-18

oneDAL

Intel oneAPI数据分析库，提供高性能机器学习算法和数据分析功能，支持AI训练与推理加速。

• Stars: ⭐️ 645
• Tags: machine-learning data-analytics oneapi cpp
• 最后活动时间: 2026-04-16

nCPU

面向模型原生和张量优化的CPU研究运行时，提供组织化的工作负载、工具和文档，适合AI推理优化研究。

• Stars: ⭐️ 637
• Tags: cpu-optimization tensor ml-runtime inference
• 最后活动时间: 2026-04-18

cuCollections

NVIDIA开源的CUDA数据结构库，提供GPU加速的高性能哈希表、哈希集合等并发数据结构。

• Stars: ⭐️ 635
• Tags: cuda gpu datastructures hashmap nvidia
• 最后活动时间: 2026-04-17

sonic-moe

针对混合专家模型(MoE)的IO和分块感知优化加速方案，提升大规模模型推理效率。

• Stars: ⭐️ 635
• Tags: moe optimization acceleration inference
• 最后活动时间: 2026-04-18

loopy

面向CPU和GPU的数组计算代码生成器，支持自动优化和并行化。

• Stars: ⭐️ 629
• Tags: cuda code-generation gpu-computing opencl
• 最后活动时间: 2026-04-10

k8s-dra-driver-gpu

NVIDIA Kubernetes DRA驱动，为Kubernetes集群提供GPU资源调度和管理能力。

• Stars: ⭐️ 628
• Tags: kubernetes nvidia gpu dra infrastructure
• 最后活动时间: 2026-04-17

nvidia-dra-driver-gpu

NVIDIA DRA GPU驱动程序，为Kubernetes等容器编排平台提供GPU资源分配和管理能力。

• Stars: ⭐️ 628
• Tags: nvidia gpu kubernetes driver dra
• 最后活动时间: 2026-04-17

wincnn

Winograd最小化卷积算法生成器，用于优化卷积神经网络的计算效率。

• Stars: ⭐️ 627
• Tags: cnn winograd optimization deep-learning
• 最后活动时间: 2026-02-09

mlir-aie

基于MLIR的AMD AI Engine工具链，为NPU加速器提供编译器支持和开发框架。

• Stars: ⭐️ 620
• Tags: mlir npu llvm compiler hardware-acceleration
• 最后活动时间: 2026-04-16

DFloat11

NeurIPS 2025论文，LLM与DiT的无损压缩方案，提升GPU推理效率。

• Stars: ⭐️ 619
• Tags: compression llm gpu-inference
• 最后活动时间: 2025-11-24

vibetensor

AI辅助生成的深度学习系统，基于CUDA和CUTASS构建高性能计算框架。

• Stars: ⭐️ 616
• Tags: cuda cutlass deep-learning pytorch
• 最后活动时间: 2026-02-02

AI-windows-whl

为Windows平台预编译的AI加速库whl包，包含Flash-attention、SageAttention、NATTEN、xFormer等核心组件，简化AI开发环境配置。

• Stars: ⭐️ 598
• Tags: ai flash-attention windows precompiled gpu-acceleration
• 最后活动时间: 2026-04-01

aws-neuron-sdk

AWS专用机器学习芯片SDK，支持PyTorch和TensorFlow原生集成，提供高性能低成本推理。

• Stars: ⭐️ 593
• Tags: aws machine-learning hardware-acceleration
• 最后活动时间: 2026-04-15

triattention

基于三角函数的KV缓存压缩技术，实现高效长推理，支持在显存受限的GPU上本地部署大语言模型。

• Stars: ⭐️ 587
• Tags: kv-cache llm-inference memory-optimization gpu
• 最后活动时间: 2026-04-15

dace

以数据为中心的并行编程框架，支持CUDA、FPGA等多种硬件加速后端。

• Stars: ⭐️ 581
• Tags: cuda fpga hpc parallel-computing
• 最后活动时间: 2026-04-18

qkeras

TensorFlow Keras量化深度学习库，面向FPGA和ASIC硬件加速的模型量化工具。

• Stars: ⭐️ 580
• Tags: quantization keras fpga hardware-acceleration deep-learning
• 最后活动时间: 2026-02-23

ginkgo

高性能数值线性代数库，支持多后端（CUDA、HIP、OpenMP），为AI和科学计算提供核心矩阵运算加速。

• Stars: ⭐️ 577
• Tags: linear-algebra gpu-computing cuda hip sparse-matrix hpc
• 最后活动时间: 2026-04-17

AutoDock-GPU

GPU加速的分子对接软件，用于药物发现和计算生物学研究，支持CUDA和OpenCL加速。

• Stars: ⭐️ 577
• Tags: molecular-docking gpu-computing cuda drug-discovery computational-biology
• 最后活动时间: 2026-03-10

pplx-kernels

Perplexity 开源的高性能 GPU 内核库，用于加速 AI 推理计算。

• Stars: ⭐️ 567
• Tags: gpu-kernels perplexity cuda inference
• 最后活动时间: 2025-11-07

optimum-intel

HuggingFace Optimum Intel版，提供Intel硬件加速的模型推理优化工具。

• Stars: ⭐️ 566
• Tags: optimization intel openvino quantization inference
• 最后活动时间: 2026-04-17

astra-sim

用于大规模AI模型训练的层次化网络与 disaggregated 系统建模仿真器，帮助优化分布式训练架构设计。

• Stars: ⭐️ 562
• Tags: distributed-training simulation large-language-models network-modeling
• 最后活动时间: 2026-03-25

jetson-image

为Nvidia Jetson系列AI开发板创建最小化Ubuntu系统镜像的工具，支持边缘AI部署。

• Stars: ⭐️ 547
• Tags: nvidia-jetson edge-ai embedded-systems ubuntu
• 最后活动时间: 2026-03-09

ComfyUI-Distributed

ComfyUI扩展插件，支持本地、远程和云端的多GPU分布式处理。

• Stars: ⭐️ 534
• Tags: comfyui multi-gpu distributed-computing stable-diffusion
• 最后活动时间: 2026-04-08

mpi4jax

JAX数组零拷贝MPI通信库，为高性能计算应用提供分布式加速支持。

• Stars: ⭐️ 524
• Tags: jax mpi hpc distributed-computing
• 最后活动时间: 2026-04-16

jetson-nano-baseboard

NVIDIA Jetson系列开发板的开源硬件底板设计，支持Jetson Nano、TX2 NX和Xavier NX，适用于边缘AI计算场景。

• Stars: ⭐️ 522
• Tags: nvidia jetson edge-ai hardware
• 最后活动时间: 2025-12-31

ROCm-docker

AMD ROCm 软件平台的 Docker 镜像集合，为 AI/ML 工作负载提供 GPU 加速环境支持。

• Stars: ⭐️ 517
• Tags: docker rocm gpu amd deep-learning
• 最后活动时间: 2026-01-27

gpu-benches

GPU基础性能基准测试工具集合，用于测量GPU计算能力和缓存性能。

• Stars: ⭐️ 513
• Tags: gpu-computing benchmark performance micro-benchmarks
• 最后活动时间: 2025-10-24

Vitis-AI-Tutorials

AMD Xilinx Vitis AI框架官方教程，指导如何在FPGA平台上部署和加速深度学习推理。

• Stars: ⭐️ 510
• Tags: vitis-ai fpga edge-ai model-deployment
• 最后活动时间: 2026-01-16

nvshmem

NVIDIA开发的并行编程接口，支持GPU间高效通信，可显著降低多进程通信开销，适用于深度学习分布式训练场景。

• Stars: ⭐️ 510
• Tags: cuda gpu parallel-computing deep-learning nvidia
• 最后活动时间: 2026-04-14

rkllama

专为Rockchip NPU优化的Ollama替代方案，支持在Orange Pi等开发板上高效运行LLM和深度学习模型。

• Stars: ⭐️ 505
• Tags: llm npu rockchip edge-ai llm-inference
• 最后活动时间: 2026-04-16

mscclpp

MSCCL++是一个GPU驱动的通信栈，专为可扩展AI应用设计，优化分布式训练和推理的GPU间通信性能。

• Stars: ⭐️ 501
• Tags: gpu communication distributed-systems cuda ai-infrastructure
• 最后活动时间: 2026-04-17

pytorch

华为昇腾PyTorch适配器(torch_npu)，为PyTorch提供昇腾NPU硬件加速支持。

• Stars: ⭐️ 501
• Tags: pytorch ascend deep-learning hardware-acceleration
• 最后活动时间: 2026-04-18

CUDA-L2

利用强化学习优化CUDA矩阵乘法内核，性能超越NVIDIA cuBLAS库。为大规模语言模型和深度学习提供更高效的GPU计算加速方案。

• Stars: ⭐️ 437
• Tags: cuda gpu-optimization matrix-multiplication reinforcement-learning hardware-acceleration
• 最后活动时间: 2026-03-30

Model Serving

tensorflow

Google开源的端到端机器学习框架，支持构建和部署深度学习模型，广泛应用于CV、NLP、推荐系统等领域。

• Stars: ⭐️ 194.8k
• Tags: Deep Learning Machine Learning Neural Network
• 最后活动时间: 2026-04-18

ollama

轻量级本地大模型运行工具，支持Llama、Qwen、DeepSeek等多种开源模型，一键部署即开即用。

• Stars: ⭐️ 169.4k
• Tags: LLM Local Deployment Model Inference
• 最后活动时间: 2026-04-18

llama.cpp

高性能C/C++实现的LLM推理引擎，支持GGML格式，广泛用于本地部署。

• Stars: ⭐️ 104.7k
• Tags: 推理 C++ GGML
• 最后活动时间: 2026-04-18

pytorch

开源深度学习框架，提供强大的GPU加速和动态计算图支持，广泛应用于神经网络研究和生产环境。

• Stars: ⭐️ 99.3k
• Tags: Deep Learning Neural Network GPU
• 最后活动时间: 2026-04-19

fastapi

高性能异步Python Web框架，广泛用于AI模型API服务和生产部署。

• Stars: ⭐️ 97.4k
• Tags: fastapi api async python openapi
• 最后活动时间: 2026-04-17

vllm

高吞吐量LLM推理和服务引擎，采用PagedAttention技术优化显存利用率，广泛用于生产环境大模型部署。

• Stars: ⭐️ 77.2k
• Tags: LLM推理 模型服务 高性能
• 最后活动时间: 2026-04-19

keras

面向人类的深度学习框架，提供简洁高级的API，支持多后端包括TensorFlow和PyTorch。

• Stars: ⭐️ 64.0k
• Tags: 深度学习 Keras 神经网络
• 最后活动时间: 2026-04-18

LocalAI

免费开源的OpenAI API替代方案，支持本地部署无需GPU，兼容OpenAI API接口。

• Stars: ⭐️ 45.5k
• Tags: LLM Self-hosted OpenAI API Local Inference
• 最后活动时间: 2026-04-18

airflow

Apache旗下开源工作流编排平台，支持以代码方式定义、调度和监控数据管道与ML工作流，是MLOps领域的核心基础设施工具。

• Stars: ⭐️ 45.1k
• Tags: MLOps 工作流编排 数据管道
• 最后活动时间: 2026-04-19

litellm

统一LLM API网关和SDK，支持100+大模型API标准化调用，提供成本追踪、负载均衡等企业级功能。

• Stars: ⭐️ 43.8k
• Tags: AI Gateway LLM Proxy OpenAI Compatible
• 最后活动时间: 2026-04-19

exo

在本地运行前沿AI模型的分布式推理框架，支持多设备协同计算，无需GPU即可运行大语言模型。

• Stars: ⭐️ 43.8k
• Tags: local-ai llm distributed inference edge-computing
• 最后活动时间: 2026-04-18

ray

AI计算引擎，提供分布式运行时和AI库加速机器学习工作负载，支持深度学习、强化学习和LLM推理等场景。

• Stars: ⭐️ 42.2k
• Tags: 分布式计算 机器学习 LLM
• 最后活动时间: 2026-04-18

BitNet

微软官方推出的1-bit LLM推理框架，实现极致压缩的高效大模型部署。

• Stars: ⭐️ 38.4k
• Tags: 1-bit LLM Inference Compression Microsoft
• 最后活动时间: 2026-03-10

gym

OpenAI开发的强化学习算法开发与对比工具包，提供标准化的环境接口，支持多种经典控制、Atari游戏等环境，是RL研究的标准基准平台。

• Stars: ⭐️ 37.2k
• Tags: reinforcement-learning machine-learning openai simulation
• 最后活动时间: 2026-03-26

pytorch-image-models

最大的PyTorch图像编码器/骨干网络集合，包含ResNet、ViT、EfficientNet等预训练模型及训练推理脚本。

• Stars: ⭐️ 36.7k
• Tags: Computer Vision Pretrained Models PyTorch
• 最后活动时间: 2026-04-17

detectron2

Facebook AI Research推出的下一代目标检测与分割平台，支持Mask R-CNN、RetinaNet等主流算法，模块化设计易于扩展。

• Stars: ⭐️ 34.3k
• Tags: object-detection segmentation computer-vision pytorch
• 最后活动时间: 2026-04-07

go-zero

云原生Go微服务框架，支持AI原生开发，提供代码生成和API网关功能，适合构建高性能AI服务后端。

• Stars: ⭐️ 32.9k
• Tags: microservices api-gateway go cloud-native
• 最后活动时间: 2026-04-16

one-api

强大的LLM API管理与分发平台，统一OpenAI、Claude、Gemini等主流模型接口，支持Key管理与二次分发。

• Stars: ⭐️ 32.2k
• Tags: API Gateway Multi-Model Key Management
• 最后活动时间: 2026-01-09

new-api

统一的AI模型聚合网关，支持将各类LLM转换为OpenAI/Claude/Gemini兼容格式，适合个人和企业的模型管理。

• Stars: ⭐️ 27.5k
• Tags: AI Gateway LLM OpenAI Compatible
• 最后活动时间: 2026-04-18

sglang

高性能的大语言模型和多模态模型服务框架，专注于推理优化和高效部署，提供卓越的服务性能。

• Stars: ⭐️ 26.1k
• Tags: Inference LLM CUDA Serving
• 最后活动时间: 2026-04-19

kratos

云原生时代的 Go 微服务框架，支持 gRPC、HTTP 和 MCP 协议，内置 AI 能力。

• Stars: ⭐️ 25.6k
• Tags: microservices go grpc mcp cloud-native
• 最后活动时间: 2026-04-04

mlflow

开源AI工程平台，支持调试、评估、监控和优化生产级AI应用，提供完整的机器学习生命周期管理。

• Stars: ⭐️ 25.4k
• Tags: MLOps LLMOps 模型管理
• 最后活动时间: 2026-04-18

llamafile

Mozilla开源项目，将LLM打包为单一可执行文件，实现一键分发与运行。

• Stars: ⭐️ 24.2k
• Tags: LLM Deployment Portable
• 最后活动时间: 2026-04-17

Paddle

百度开源的工业级深度学习框架，支持高性能单机与分布式训练，提供跨平台部署能力。

• Stars: ⭐️ 23.8k
• Tags: deep-learning machine-learning neural-network distributed-training
• 最后活动时间: 2026-04-18

mlc-llm

通用LLM部署引擎，通过机器学习编译技术实现跨平台高效推理，支持多种硬件后端。

• Stars: ⭐️ 22.5k
• Tags: LLM部署 模型编译 TVM 推理优化
• 最后活动时间: 2026-04-14

prefect

Python工作流编排框架，用于构建弹性的数据管道和ML工作流，支持可观测性与自动化。

• Stars: ⭐️ 22.2k
• Tags: Workflow Orchestration MLOps
• 最后活动时间: 2026-04-17

onnx

机器学习互操作的开放标准，支持PyTorch、TensorFlow等主流框架间的模型转换与跨平台部署，是AI生态的核心基础设施。

• Stars: ⭐️ 20.7k
• Tags: ONNX Interoperability Model Format
• 最后活动时间: 2026-04-18

taipy

将数据和AI算法快速转化为生产级Web应用的Python框架，支持管道编排、数据可视化和场景分析。

• Stars: ⭐️ 19.2k
• Tags: Python MLOps Data Visualization Pipeline
• 最后活动时间: 2026-04-18

livekit

端到端实时通信基础设施，专为连接人类与AI设计，支持语音、视频和WebRTC通信。

• Stars: ⭐️ 18.3k
• Tags: realtime webrtc voice-ai media-server
• 最后活动时间: 2026-04-18

web-llm

基于WebGPU的浏览器端LLM推理引擎，无需服务器即可在浏览器中运行大模型，实现完全客户端AI推理。

• Stars: ⭐️ 17.8k
• Tags: WebGPU 浏览器AI 本地推理
• 最后活动时间: 2026-04-15

openfang

开源智能体操作系统，基于Rust构建，支持MCP协议，为AI智能体提供底层运行环境。

• Stars: ⭐️ 16.8k
• Tags: Agent OS MCP Rust
• 最后活动时间: 2026-04-17

kubeflow

Kubernetes上的机器学习工具包，提供完整的ML工作流编排与模型部署能力。

• Stars: ⭐️ 15.6k
• Tags: kubernetes machine-learning ml-ops
• 最后活动时间: 2026-01-05

dagster

现代化数据资产编排平台，专为数据工程和机器学习工作流设计，支持数据管道的开发、部署与监控。

• Stars: ⭐️ 15.3k
• Tags: 数据编排 MLOps ETL
• 最后活动时间: 2026-04-18

iii

统一后端架构引擎，通过Function、Trigger、Worker三个原语整合AI Agent与现有技术栈。

• Stars: ⭐️ 15.3k
• Tags: backend-framework agents genai primitives
• 最后活动时间: 2026-04-17

burn

新一代Rust深度学习框架，兼顾灵活性、效率和可移植性，支持CUDA、Metal、Vulkan、WebGPU等多后端。

• Stars: ⭐️ 14.9k
• Tags: Deep-Learning Rust Cross-Platform
• 最后活动时间: 2026-04-18

horovod

Uber开源的分布式训练框架，支持TensorFlow、PyTorch、MXNet等主流深度学习框架。

• Stars: ⭐️ 14.7k
• Tags: Distributed Training TensorFlow PyTorch
• 最后活动时间: 2025-12-01

casdoor

AI优先的身份认证与访问管理平台，支持MCP网关、OAuth 2.1、OIDC、SAML、LDAP等多种认证协议。

• Stars: ⭐️ 13.4k
• Tags: IAM MCP Gateway Authentication SSO
• 最后活动时间: 2026-04-18

or-tools

Google开源的运筹学优化工具套件，提供线性规划、约束规划、车辆路径等算法，广泛应用于AI优化问题。

• Stars: ⭐️ 13.4k
• Tags: optimization linear-programming operations-research
• 最后活动时间: 2026-04-17

tvm

开源机器学习编译器框架，支持跨平台GPU加速和深度学习模型优化部署。

• Stars: ⭐️ 13.3k
• Tags: machine-learning compiler deep-learning gpu tensor
• 最后活动时间: 2026-04-18

nano-vllm

轻量级vLLM实现，专注于大语言模型的高效推理，适合学习和轻量级部署场景。

• Stars: ⭐️ 13.0k
• Tags: LLM 推理引擎 PyTorch
• 最后活动时间: 2026-04-13

OpenLLM

开源大语言模型运行平台，支持将主流模型部署为OpenAI兼容的API端点，提供云端部署和服务管理的一站式解决方案。

• Stars: ⭐️ 12.3k
• Tags: LLM Inference OpenAI-Compatible
• 最后活动时间: 2026-04-13

gateway

高性能AI网关，统一接入200+大语言模型和50+AI防护栏，提供单一API接口实现智能路由与安全管控。

• Stars: ⭐️ 11.4k
• Tags: AI-Gateway LLM Guardrails
• 最后活动时间: 2026-03-25

bisheng

开源企业级LLM DevOps平台，提供GenAI工作流、RAG、Agent、模型管理与微调等全方位功能。

• Stars: ⭐️ 11.3k
• Tags: LLM平台 RAG Agent 工作流
• 最后活动时间: 2026-04-18

tensorzero

开源工业级LLM应用技术栈，集成LLM网关、可观测性、优化和评估功能，为生产级AI应用提供完整基础设施。

• Stars: ⭐️ 11.2k
• Tags: LLMOps LLM-Gateway Observability
• 最后活动时间: 2026-04-18

claude-relay-service

一站式AI API中转服务，支持Claude、OpenAI、Gemini等多平台统一接入，降低使用成本。

• Stars: ⭐️ 11.2k
• Tags: API Relay Multi-Model Claude
• 最后活动时间: 2026-04-16

wandb

AI开发者平台，提供模型训练跟踪、超参数调优和模型版本管理，从实验到生产的全流程MLOps解决方案。

• Stars: ⭐️ 11.0k
• Tags: MLOps Experiment Tracking Model Management
• 最后活动时间: 2026-04-18

text-generation-inference

HuggingFace官方推出的大语言模型生产级推理框架，支持BLOOM、Falcon等主流模型的高效部署，提供张量并行和流式输出等高级特性。

• Stars: ⭐️ 10.8k
• Tags: LLM Inference Deployment
• 最后活动时间: 2026-03-21

kedro

生产级数据科学工具箱，采用软件工程最佳实践构建可复现、可维护的机器学习流水线。

• Stars: ⭐️ 10.8k
• Tags: MLOps 流水线 机器学习 Python
• 最后活动时间: 2026-04-17

mistral-inference

Mistral AI官方推理库，提供高效的大模型推理能力支持。

• Stars: ⭐️ 10.8k
• Tags: LLM Inference Mistral Model Serving
• 最后活动时间: 2026-02-26

triton-inference-server

NVIDIA开源的云端和边缘推理服务器，提供优化的AI模型部署解决方案。

• Stars: ⭐️ 10.6k
• Tags: inference deep-learning gpu model-serving
• 最后活动时间: 2026-04-18

yolov3

YOLOv3目标检测模型的PyTorch实现，支持导出至ONNX、CoreML、TFLite等多种格式，便于跨平台部署。

• Stars: ⭐️ 10.6k
• Tags: Object Detection YOLO PyTorch
• 最后活动时间: 2026-04-16

WasmEdge

轻量级高性能WebAssembly运行时，专为云原生、边缘计算和去中心化应用设计。支持AI模型推理、无服务器函数和微服务部署。

• Stars: ⭐️ 10.6k
• Tags: WebAssembly Runtime Edge AI Serverless
• 最后活动时间: 2026-04-18

runanywhere-sdks

生产级本地 AI 运行工具包，支持 Android、iOS、Web 多平台部署，集成 LLM、多模态、语音 AI 等端侧推理能力。

• Stars: ⭐️ 10.3k
• Tags: On-Device AI Cross-Platform Edge AI
• 最后活动时间: 2026-04-19

openvino

Intel开源的AI推理优化工具包，支持跨平台高性能部署计算机视觉、NLP和生成式AI模型。

• Stars: ⭐️ 10.1k
• Tags: 模型推理 优化部署 Intel
• 最后活动时间: 2026-04-17

metaflow

Netflix开源的ML基础设施框架，支持分布式训练、LLM工作流和多云部署，提供完整的MLOps解决方案。

• Stars: ⭐️ 10.0k
• Tags: MLOps 分布式训练 LLM工作流
• 最后活动时间: 2026-04-18

pytorch3d

FAIR官方3D深度学习库，提供可复用的3D数据处理组件和渲染功能。

• Stars: ⭐️ 9.9k
• Tags: pytorch 3d-deep-learning point-cloud rendering
• 最后活动时间: 2026-03-18

cog

将机器学习模型打包成标准化容器的工具，支持CUDA和主流框架，简化AI模型的生产部署流程。

• Stars: ⭐️ 9.4k
• Tags: ML Ops Docker Model Deployment
• 最后活动时间: 2026-04-17

oneflow

深度学习框架，设计注重易用性、可扩展性和高效性，支持分布式训练。

• Stars: ⭐️ 9.4k
• Tags: deep-learning framework distributed-training machine-learning
• 最后活动时间: 2025-12-04

PowerInfer

面向本地部署的高速大语言模型推理引擎，显著提升本地LLM服务性能。

• Stars: ⭐️ 9.3k
• Tags: LLM推理 本地部署 高性能
• 最后活动时间: 2026-01-24

inference

一行代码替换GPT为任意大语言模型，支持云端、本地和多模态模型推理。

• Stars: ⭐️ 9.2k
• Tags: LLM推理 模型部署 OpenAI兼容
• 最后活动时间: 2026-04-17

coai

新一代多租户AI一站式解决方案，内置管理和计费系统。支持200+模型和35+提供商的企业级统一LLM网关，具备负载均衡、成本管理和文件解析等功能。

• Stars: ⭐️ 9.1k
• Tags: AI Gateway LLM Multi-tenant
• 最后活动时间: 2026-03-12

modelscope

阿里达摩院开源的模型即服务平台，提供丰富预训练模型库和Python SDK，覆盖CV、NLP、多模态等领域。

• Stars: ⭐️ 8.9k
• Tags: Model-as-a-Service Multi-modal Deep Learning
• 最后活动时间: 2026-04-17

vowpal_wabbit

微软开源的高性能机器学习系统，支持在线学习、强化学习、主动学习等多种前沿ML技术，适合大规模工业级应用场景。

• Stars: ⭐️ 8.7k
• Tags: machine-learning online-learning reinforcement-learning active-learning
• 最后活动时间: 2026-03-19

BentoML

一站式AI模型服务化平台，轻松构建推理API和LLM应用，支持生产级多模型管道部署。

• Stars: ⭐️ 8.6k
• Tags: 模型服务 MLOps LLM推理
• 最后活动时间: 2026-04-16

LMCache

为LLM提供极速KV缓存层，显著提升推理速度和吞吐量。支持vLLM、PyTorch等主流框架，兼容CUDA和ROCm。

• Stars: ⭐️ 8.0k
• Tags: KV Cache LLM Inference vLLM
• 最后活动时间: 2026-04-18

lmdeploy

高效的大语言模型压缩、部署和服务化工具包，支持多种主流LLM的推理加速与量化部署。

• Stars: ⭐️ 7.8k
• Tags: LLM推理 模型部署 量化压缩
• 最后活动时间: 2026-04-17

h2o-3

开源分布式机器学习平台，支持多种算法和AutoML自动建模功能，可扩展处理大规模数据。

• Stars: ⭐️ 7.5k
• Tags: 机器学习 AutoML 分布式计算
• 最后活动时间: 2026-04-18

qiskit

IBM开源量子计算SDK，支持量子电路、算子和原语级别的编程，为量子机器学习提供基础。

• Stars: ⭐️ 7.3k
• Tags: qiskit quantum-computing quantum-circuit sdk python
• 最后活动时间: 2026-04-18

flax

基于JAX的神经网络库，专为灵活性和高性能深度学习研究设计。

• Stars: ⭐️ 7.2k
• Tags: jax flax neural-network deep-learning
• 最后活动时间: 2026-04-18

tensorboard

TensorFlow官方可视化工具包，用于机器学习模型训练监控与分析。

• Stars: ⭐️ 7.1k
• Tags: tensorflow visualization machine-learning deep-learning
• 最后活动时间: 2026-04-16

openllmetry

基于OpenTelemetry的GenAI/LLM应用可观测性开源方案，提供全面的监控和追踪能力。

• Stars: ⭐️ 7.0k
• Tags: Observability OpenTelemetry Monitoring
• 最后活动时间: 2026-04-17

mistral.rs

基于Rust的高性能LLM推理引擎，提供快速灵活的大语言模型部署能力。

• Stars: ⭐️ 7.0k
• Tags: LLM Inference Rust
• 最后活动时间: 2026-04-15

flyte

动态弹性的AI工作流编排平台，用于协调数据、模型和计算资源，支持Kubernetes原生部署和LLM工作流管理。

• Stars: ⭐️ 6.9k
• Tags: Orchestration MLOps Kubernetes
• 最后活动时间: 2026-04-18

gemma.cpp

Google官方推出的轻量级C++推理引擎，专为Gemma大模型设计，支持本地高效部署和推理。

• Stars: ⭐️ 6.9k
• Tags: inference-engine gemma cpp llm local-deployment
• 最后活动时间: 2026-04-17

monty

用 Rust 编写的最小化安全 Python 解释器，专为 AI 代理代码执行设计。

• Stars: ⭐️ 6.9k
• Tags: python-interpreter rust ai-sandbox code-execution
• 最后活动时间: 2026-04-18

guardrails

为大语言模型添加安全护栏的框架，确保AI输出符合规范与安全要求。

• Stars: ⭐️ 6.7k
• Tags: LLM Safety Guardrails AI Security
• 最后活动时间: 2026-04-03

clearml

一站式 MLOps/LLMOps 平台，提供实验管理、数据管理、流水线编排和模型服务。

• Stars: ⭐️ 6.6k
• Tags: mlops machine-learning deep-learning experiment-management
• 最后活动时间: 2026-04-16

zeppelin

基于 Web 的数据科学笔记本，支持 SQL、Scala、Spark 等多种语言，适用于大数据分析和 ML 工作流。

• Stars: ⭐️ 6.6k
• Tags: notebook big-data spark data-analytics visualization
• 最后活动时间: 2026-04-18

dynamo

数据中心级分布式推理服务框架，专为大规模AI模型部署优化。

• Stars: ⭐️ 6.6k
• Tags: Distributed Inference Datacenter Model Serving
• 最后活动时间: 2026-04-19

mmcv

OpenMMLab计算机视觉基础库，提供高质量的CV模型训练基础设施和通用组件。

• Stars: ⭐️ 6.4k
• Tags: computer-vision deep-learning pytorch openmmlab
• 最后活动时间: 2026-01-29

TensorFlow Serving

TensorFlow官方高性能模型服务系统，支持模型版本管理和多模型并行部署，专为生产环境设计。

• Stars: ⭐️ 6.4k
• Tags: TensorFlow 模型部署 生产环境
• 最后活动时间: 2026-04-15

plano

面向智能体应用的AI原生代理和数据平面，内置编排、安全、可观测性和智能LLM路由功能。

• Stars: ⭐️ 6.4k
• Tags: ai-gateway llm-routing proxy
• 最后活动时间: 2026-04-19

RWKV-Runner

仅8MB的RWKV模型管理启动工具，提供兼容OpenAI API接口，支持本地快速部署大模型。

• Stars: ⭐️ 6.3k
• Tags: RWKV LLM OpenAI-API 本地部署
• 最后活动时间: 2026-03-20

free_chatgpt_api

公益免费的 ChatGPT API 服务，支持 GPT-4，无需代理即可直连访问，兼容标准 OpenAI API 格式。

• Stars: ⭐️ 6.3k
• Tags: chatgpt openai-api gpt-4 free-api proxy
• 最后活动时间: 2025-11-27

ClawRouter

面向AI智能体原生的LLM路由器，支持41+模型且路由延迟低于1ms，集成USDC微支付功能。

• Stars: ⭐️ 6.2k
• Tags: LLM路由 AI Agents 微支付
• 最后活动时间: 2026-04-13

greptimedb

开源可观测性数据库，统一存储指标、日志和追踪数据，支持AI/LLM监控场景。

• Stars: ⭐️ 6.2k
• Tags: Observability Database LLM Monitoring OpenTelemetry
• 最后活动时间: 2026-04-17

gpt-load

支持多渠道的AI代理服务，具备智能密钥轮询功能，轻松管理OpenAI、Claude、Gemini等多个AI提供商。

• Stars: ⭐️ 6.1k
• Tags: AI代理 密钥管理 多渠道
• 最后活动时间: 2026-04-06

helicone

开源LLM可观测性平台，一行代码即可实现AI应用的监控、评估和实验管理。

• Stars: ⭐️ 5.5k
• Tags: LLMOps Observability Monitoring OpenAI
• 最后活动时间: 2026-04-11

composer

MosaicML推出的模型训练加速库，提供高效的深度学习训练优化方案。

• Stars: ⭐️ 5.5k
• Tags: deep-learning pytorch ml-training
• 最后活动时间: 2026-03-25

kgateway

云原生API网关和AI网关，支持Kubernetes环境下的微服务和AI模型流量管理。

• Stars: ⭐️ 5.5k
• Tags: api-gateway ai-gateway kubernetes envoy
• 最后活动时间: 2026-04-17

Daft

高性能AI数据引擎，支持图像、音频、视频和结构化数据的大规模处理，专为AI和多模态工作负载优化。

• Stars: ⭐️ 5.4k
• Tags: Data Engine Multimodal Distributed Computing
• 最后活动时间: 2026-04-18

kserve

CNCF旗下标准化AI模型推理平台，支持在Kubernetes上部署生成式和预测式AI模型，提供企业级模型服务解决方案。

• Stars: ⭐️ 5.3k
• Tags: Kubernetes Model-Serving LLM-Inference
• 最后活动时间: 2026-04-18

zenml

开源MLOps平台，用于构建可生产的机器学习管道和AI代理工作流，支持从实验到生产的全生命周期管理。

• Stars: ⭐️ 5.3k
• Tags: MLOps Pipeline LLMOps
• 最后活动时间: 2026-04-18

genai-stack

生成式AI技术栈，集成LangChain、Docker、Neo4j和Ollama，快速部署AI应用。

• Stars: ⭐️ 5.3k
• Tags: langchain ollama neo4j docker genai
• 最后活动时间: 2026-03-30

SynapseML

微软开源的分布式机器学习库，基于Apache Spark构建，支持深度学习、模型部署和认知服务集成。

• Stars: ⭐️ 5.2k
• Tags: Machine Learning Apache Spark Deep Learning Model Deployment
• 最后活动时间: 2026-04-18

Mooncake

Moonshot AI开源的LLM推理服务平台，支持KVCache分离架构，为Kimi提供高性能推理服务。

• Stars: ⭐️ 5.1k
• Tags: 模型推理 KVCache RDMA
• 最后活动时间: 2026-04-18

seldon-core

Kubernetes 原生 MLOps 框架，支持大规模机器学习模型的打包、部署、监控和管理。

• Stars: ⭐️ 4.7k
• Tags: mlops kubernetes model-serving machine-learning
• 最后活动时间: 2026-03-23

aibrix

面向GenAI推理的高性价比可插拔基础设施组件。

• Stars: ⭐️ 4.7k
• Tags: llm-inference infrastructure genai model-serving
• 最后活动时间: 2026-04-17

text-embeddings-inference

HuggingFace出品的高性能文本嵌入模型推理解决方案，支持大规模向量检索场景。

• Stars: ⭐️ 4.7k
• Tags: 嵌入模型 高性能推理 HuggingFace
• 最后活动时间: 2026-04-17

csghub

开源的LLM资产管理平台，类似Hugging Face的国产替代方案。支持模型、数据集、Agent的全生命周期管理，兼容HF SDK。

• Stars: ⭐️ 4.7k
• Tags: LLM平台 模型管理 开源
• 最后活动时间: 2026-04-10

exllamav2

高效的本地LLM推理库，针对消费级GPU优化，实现快速模型运行。

• Stars: ⭐️ 4.5k
• Tags: Inference Local LLM GPU
• 最后活动时间: 2026-03-04

manifest

智能LLM路由方案，通过智能调度降低高达70%的API调用成本，支持可观测性监控。

• Stars: ⭐️ 4.5k
• Tags: LLM Router Cost Optimization Observability
• 最后活动时间: 2026-04-18

CTranslate2

高效的Transformer模型推理引擎，支持量化优化和多平台加速，专为生产环境设计。

• Stars: ⭐️ 4.4k
• Tags: 推理引擎 量化 优化
• 最后活动时间: 2026-02-04

vllm-omni

面向全模态模型的高效推理框架，支持图像、视频、音频等多模态内容的生成与服务。

• Stars: ⭐️ 4.4k
• Tags: Inference Multimodal Model Serving
• 最后活动时间: 2026-04-18

lite.ai.toolkit

轻量级C++ AI推理工具箱，支持多种后端，内置100+模型包括目标检测、分割、Stable Diffusion等功能。

• Stars: ⭐️ 4.4k
• Tags: C++ ONNX TensorRT YOLO
• 最后活动时间: 2026-03-19

open_model_zoo

OpenVINO 预训练深度学习模型库，提供高质量、极快推理的各类 AI 模型，支持 PyTorch、TensorFlow、ONNX 等格式。

• Stars: ⭐️ 4.4k
• Tags: deep-learning model-zoo openvino pretrained-models inference
• 最后活动时间: 2026-04-10

LMOps

支持LLM和多模态大模型AI能力落地的通用技术框架，涵盖提示工程与预训练优化。

• Stars: ⭐️ 4.3k
• Tags: LLM运维 多模态 提示工程
• 最后活动时间: 2026-04-18

logfire

专为生产环境 LLM 和智能体系统设计的可观测性平台，基于 OpenTelemetry 标准提供日志、指标和追踪功能。

• Stars: ⭐️ 4.2k
• Tags: Observability LLM OpenTelemetry Monitoring
• 最后活动时间: 2026-04-18

mcpo

简单安全的MCP到OpenAPI代理服务器，实现AI模型协议的无缝转换与对接。

• Stars: ⭐️ 4.1k
• Tags: MCP Proxy OpenAPI
• 最后活动时间: 2026-02-27

PINTO_model_zoo

海量预训练模型库，支持TensorFlow、PyTorch、ONNX等主流框架格式互转，覆盖边缘部署全场景。

• Stars: ⭐️ 4.1k
• Tags: Model Conversion Edge Deployment ONNX
• 最后活动时间: 2026-04-17

FedML

统一可扩展的机器学习库，支持大规模分布式训练、模型服务和联邦学习。

• Stars: ⭐️ 4.0k
• Tags: federated-learning distributed-training mlops model-serving
• 最后活动时间: 2025-10-28

dlrm

Meta开源的深度学习推荐模型实现，广泛应用于工业级推荐系统。

• Stars: ⭐️ 4.0k
• Tags: recommendation-system deep-learning pytorch meta
• 最后活动时间: 2026-01-12

mini-sglang

SGLang的精简实现版本，帮助开发者深入理解现代LLM服务系统的核心原理与架构设计。

• Stars: ⭐️ 4.0k
• Tags: LLM Serving Educational
• 最后活动时间: 2026-03-13

LightLLM

轻量级高性能LLM推理服务框架，基于Titon实现，支持灵活扩展和高吞吐量部署。

• Stars: ⭐️ 4.0k
• Tags: Inference Serving Triton
• 最后活动时间: 2026-04-19

shimmy

基于Rust的高性能推理服务器，兼容OpenAI API，支持GGUF和SafeTensors格式，单二进制部署，支持热模型切换。

• Stars: ⭐️ 4.0k
• Tags: inference-server gguf openai-compatible rust llm-inference
• 最后活动时间: 2026-03-26

GenerativeAIExamples

NVIDIA官方生成式AI参考工作流，针对GPU加速基础设施和微服务架构优化。企业级部署最佳实践。

• Stars: ⭐️ 3.9k
• Tags: GPU Acceleration Microservices LLM Inference
• 最后活动时间: 2026-03-30

bifrost

高性能企业级AI网关，比LiteLLM快50倍，支持1000+模型、自适应负载均衡和护栏功能。

• Stars: ⭐️ 3.9k
• Tags: ai-gateway load-balancing guardrails
• 最后活动时间: 2026-04-18

LitServe

轻量级Python AI推理服务框架，支持自定义逻辑、批处理和弹性扩展。

• Stars: ⭐️ 3.9k
• Tags: model-serving inference api fastapi
• 最后活动时间: 2026-04-13

atmosphere

JVM 平台的传输无关实时框架，支持 WebSocket、SSE、MCP 等多种协议的统一 API。

• Stars: ⭐️ 3.8k
• Tags: mcp websocket java spring-boot real-time
• 最后活动时间: 2026-04-18

maestro

Netflix开源的工作流编排器，支持机器学习流水线、MLOps和智能体工作流的自动化调度与管理。

• Stars: ⭐️ 3.8k
• Tags: Workflow MLOps Orchestration Data Pipelines
• 最后活动时间: 2026-04-09

semantic-router

系统级智能路由器，支持云端、数据中心和边缘场景的混合模型路由，集成语义分类、PII检测和提示词防护功能。

• Stars: ⭐️ 3.7k
• Tags: LLM路由 AI网关 Kubernetes
• 最后活动时间: 2026-04-18

iree

基于MLIR的机器学习编译器和运行时工具包，支持跨平台部署TensorFlow、PyTorch、JAX等模型。

• Stars: ⭐️ 3.7k
• Tags: MLIR Compiler Cross-Platform
• 最后活动时间: 2026-04-19

vidgear

高性能跨平台视频处理Python框架，支持实时流媒体、视频稳定和多线程处理。

• Stars: ⭐️ 3.7k
• Tags: video-processing streaming opencv ffmpeg
• 最后活动时间: 2026-04-17

FastDeploy

基于PaddlePaddle的高性能LLM/VLM推理部署工具包，提供高效的模型服务化能力。

• Stars: ⭐️ 3.7k
• Tags: LLM Serving Inference Deployment PaddlePaddle
• 最后活动时间: 2026-04-18

local-ai-packaged

一站式本地AI运行包，整合Ollama、Supabase、n8n、Open WebUI等工具，轻松部署私有AI环境。

• Stars: ⭐️ 3.7k
• Tags: local-ai ollama docker self-hosted ai-tools
• 最后活动时间: 2026-02-26

singa

一个分布式深度学习平台，支持大规模模型训练与推理的高效部署。

• Stars: ⭐️ 3.6k
• Tags: deep-learning distributed machine-learning
• 最后活动时间: 2026-03-23

lemonade

本地AI应用发现与运行平台，支持GPU/NPU优化的LLM本地部署。

• Stars: ⭐️ 3.6k
• Tags: Local LLM GPU MCP Server
• 最后活动时间: 2026-04-18

archestra

企业级AI平台，提供安全护栏、MCP注册中心、网关和编排器，适用于生产环境。

• Stars: ⭐️ 3.6k
• Tags: MCP Agent Enterprise Kubernetes
• 最后活动时间: 2026-04-19

GraphScope

阿里巴巴开源的一站式大规模图计算系统，集成图分析、图计算和图神经网络能力，支持Gremlin查询语言。

• Stars: ⭐️ 3.5k
• Tags: Graph Computing Graph Neural Networks Big Data
• 最后活动时间: 2026-04-13

openai-gemini

无服务器代理，将Gemini API转换为OpenAI兼容格式，方便开发者统一调用。

• Stars: ⭐️ 3.5k
• Tags: Gemini OpenAI Proxy Serverless
• 最后活动时间: 2026-03-17

antigravity-claude-proxy

代理工具，将Antigravity提供的Claude和Gemini模型暴露为标准API，支持Claude Code和OpenClaw使用。

• Stars: ⭐️ 3.5k
• Tags: Claude Gemini Proxy
• 最后活动时间: 2026-03-21

optillm

LLM推理优化代理服务器，支持Chain-of-Thought、MoE、MCTS等优化策略，提升模型推理效率。

• Stars: ⭐️ 3.4k
• Tags: LLM Inference Optimization Proxy
• 最后活动时间: 2026-03-19

chitu

高性能大语言模型推理框架，专注于效率、灵活性和可用性，支持DeepSeek等主流模型的高效部署。

• Stars: ⭐️ 3.4k
• Tags: LLM Inference GPU Model Serving
• 最后活动时间: 2026-04-18

llama-swap

为本地LLM服务器提供可靠的模型切换能力，兼容OpenAI/Anthropic API格式。

• Stars: ⭐️ 3.4k
• Tags: Model Swapping llama.cpp vLLM
• 最后活动时间: 2026-04-18

FastVideo

统一的视频生成推理与后训练加速框架，支持扩散模型蒸馏和高效推理优化。

• Stars: ⭐️ 3.4k
• Tags: 视频生成 推理加速 扩散模型
• 最后活动时间: 2026-04-18

rlm

递归语言模型的通用推理库，支持多种沙箱环境，即插即用。

• Stars: ⭐️ 3.4k
• Tags: inference language-models rlm
• 最后活动时间: 2026-03-24

unitycatalog

开源多模态数据与AI目录管理平台，统一管理企业AI资产。

• Stars: ⭐️ 3.4k
• Tags: catalog data-management ai-governance multi-modal enterprise
• 最后活动时间: 2026-04-17

deep-prove

极速证明ML模型推理的框架，专注于零知识机器学习(ZKML)领域。为AI模型提供可验证推理能力。

• Stars: ⭐️ 3.3k
• Tags: zkml zk-snarks machine-learning ai-inference
• 最后活动时间: 2026-04-01

whisper-asr-webservice

OpenAI Whisper语音识别的Docker化Web服务API，便于快速部署和集成。

• Stars: ⭐️ 3.2k
• Tags: ASR API Docker
• 最后活动时间: 2025-11-23

onnx-tensorrt

ONNX模型的TensorRT后端，实现高性能深度学习推理部署。

• Stars: ⭐️ 3.2k
• Tags: onnx tensorrt deep-learning nvidia inference
• 最后活动时间: 2026-03-25

neo

AI原生应用运行时引擎，支持多线程和持久化场景图，实现智能体实时内省与动态修改。

• Stars: ⭐️ 3.2k
• Tags: AI Runtime Agent Framework Multi-threaded
• 最后活动时间: 2026-04-19

opyrator

将机器学习代码快速转换为微服务，自动生成Web API和交互式GUI界面。

• Stars: ⭐️ 3.1k
• Tags: deployment fastapi machine-learning
• 最后活动时间: 2026-03-30

RLinf

面向具身智能和智能体AI的强化学习基础设施框架，支持VLA-RL等前沿研究方向。

• Stars: ⭐️ 3.1k
• Tags: reinforcement-learning embodied-ai agentic-ai infrastructure
• 最后活动时间: 2026-04-17

OmniRoute

多提供商LLM智能网关，提供OpenAI兼容接口，支持智能路由、负载均衡、重试回退、策略限流和可观测性功能。

• Stars: ⭐️ 3.1k
• Tags: LLM Gateway Model Routing Rate Limiting
• 最后活动时间: 2026-04-19

axonhub

开源AI网关，支持100+大语言模型，内置故障转移、负载均衡、成本控制和端到端追踪功能。

• Stars: ⭐️ 3.1k
• Tags: AI Gateway LLM 负载均衡
• 最后活动时间: 2026-04-18

folib

全语言制品仓库，支持Huggingface等主流AI模型仓库的代理与同步。

• Stars: ⭐️ 3.1k
• Tags: aimodels artifact-repository huggingface docker-registry maven
• 最后活动时间: 2025-12-24

graphjin

自动编译器，将AI应用与数据库无缝连接，支持多种数据库后端。

• Stars: ⭐️ 3.0k
• Tags: database graphql sql api
• 最后活动时间: 2026-04-17

cake

分布式推理框架，支持移动端、桌面和服务器端的AI模型推理部署。

• Stars: ⭐️ 3.0k
• Tags: Distributed Inference Model Serving Cross-Platform
• 最后活动时间: 2026-04-05

llm-d

专注于在Kubernetes上实现大语言模型高性能推理的部署框架，支持现代加速器以达成业界领先的推理性能。

• Stars: ⭐️ 3.0k
• Tags: Kubernetes LLM Inference High Performance
• 最后活动时间: 2026-04-18

weld

斯坦福开源的高性能数据分析运行时，通过LLVM代码生成优化Pandas、Spark等数据框架的执行效率。

• Stars: ⭐️ 3.0k
• Tags: data-analytics llvm performance rust machine-learning
• 最后活动时间: 2026-04-13

algernon

一个轻量级的纯Go Web服务器，内置Ollama支持，可便捷部署和运行本地LLM服务。

• Stars: ⭐️ 3.0k
• Tags: Go Ollama Web Server LLM Serving
• 最后活动时间: 2026-04-18

TensorRT

NVIDIA官方的PyTorch模型编译器，利用TensorRT优化深度学习模型在GPU上的推理性能。

• Stars: ⭐️ 3.0k
• Tags: tensorrt deep-learning inference nvidia pytorch
• 最后活动时间: 2026-04-18

ultralyticsPro

YOLO系列目标检测模型改进合集，支持YOLO11/v8/v10/v7/v5及RT-DETR等模型优化。

• Stars: ⭐️ 2.9k
• Tags: yolo object-detection pytorch deep-learning
• 最后活动时间: 2025-12-15

uvicorn-gunicorn-fastapi-docker

高性能FastAPI生产级Docker镜像，集成Uvicorn和Gunicorn，支持自动性能调优。

• Stars: ⭐️ 2.9k
• Tags: fastapi docker model-serving python asgi
• 最后活动时间: 2026-03-25

distributed-llama

分布式LLM推理框架，可将多台家用设备连接成集群加速大模型推理，设备越多推理越快。

• Stars: ⭐️ 2.9k
• Tags: 分布式推理 集群计算 LLM
• 最后活动时间: 2026-04-14

spiceai

Rust 编写的便携式加速 SQL 查询、搜索和 LLM 推理引擎，为数据驱动的 AI 应用和智能体提供基础设施支持。

• Stars: ⭐️ 2.9k
• Tags: SQL LLM推理 数据联邦 Rust
• 最后活动时间: 2026-04-19

tract

轻量级、自包含的TensorFlow和ONNX推理引擎，使用Rust编写，适合嵌入式和边缘部署。

• Stars: ⭐️ 2.9k
• Tags: Rust ONNX TensorFlow 推理引擎
• 最后活动时间: 2026-04-17

docker-agent

AI智能体构建与运行时平台，借助Docker容器化优势，让Agent的构建、测试和生产部署更加简单高效。

• Stars: ⭐️ 2.8k
• Tags: Docker Runtime Deployment
• 最后活动时间: 2026-04-18

leptonai

Pythonic框架，简化AI服务的构建与部署流程，提供高效的模型服务化解决方案。

• Stars: ⭐️ 2.8k
• Tags: ai-serving deep-learning gpu python deployment
• 最后活动时间: 2026-04-16

lmnr

专为AI智能体打造的开源可观测性平台，提供全链路追踪、评估和监控能力，YC S24孵化项目。

• Stars: ⭐️ 2.8k
• Tags: 可观测性 LLMOps 监控
• 最后活动时间: 2026-04-17

infinity

高性能文本嵌入和重排序模型服务引擎，支持CLIP、CLAP和ColPali等多种模型。

• Stars: ⭐️ 2.8k
• Tags: Text Embeddings Model Serving Reranking
• 最后活动时间: 2026-03-24

one-hub

OpenAI接口管理与分发系统，支持多模型接入、统计页面及函数调用完善。

• Stars: ⭐️ 2.8k
• Tags: openai-api api-gateway model-management chatgpt
• 最后活动时间: 2026-02-19

ramalama

基于容器技术的AI模型部署工具，简化本地服务和生产环境推理，支持llama.cpp、vLLM等多种引擎。

• Stars: ⭐️ 2.8k
• Tags: 容器化 模型部署 推理引擎
• 最后活动时间: 2026-04-18

torch-points3d

点云深度学习PyTorch框架，支持PointNet、KPConv等主流架构和分割任务。

• Stars: ⭐️ 2.7k
• Tags: point-cloud pytorch deep-learning segmentation
• 最后活动时间: 2026-03-16

BigDL

分布式深度学习框架，支持在Apache Spark/Flink和Ray上运行TensorFlow、Keras和PyTorch。

• Stars: ⭐️ 2.7k
• Tags: deep-learning distributed tensorflow pytorch spark
• 最后活动时间: 2026-04-08

cc-gateway

AI API身份网关，作为反向代理标准化设备指纹和遥测数据，实现隐私保护的API代理服务。

• Stars: ⭐️ 2.7k
• Tags: api-gateway anthropic claude privacy reverse-proxy
• 最后活动时间: 2026-04-02

9router

统一路由工具，连接Claude Code、Cursor、Copilot等AI编程工具到40+服务商和100+模型，简化多模型接入。

• Stars: ⭐️ 2.7k
• Tags: AI Router Code Assistant Multi-Model API Gateway
• 最后活动时间: 2026-04-17

secretflow

隐私保护数据分析与机器学习统一框架，支持联邦学习、差分隐私和安全多方计算。

• Stars: ⭐️ 2.6k
• Tags: privacy-preserving federated-learning differential-privacy secure-computation
• 最后活动时间: 2025-11-13

neural-compressor

Intel 开发的 SOTA 模型压缩工具，支持 INT8/FP8/INT4 等低比特量化、稀疏化和剪枝，优化 LLM 在各种硬件上的部署效率。

• Stars: ⭐️ 2.6k
• Tags: Quantization LLM Model Compression Intel
• 最后活动时间: 2026-04-17

neural-compressor

Intel 开发的 SOTA 模型压缩工具，支持 INT8/FP8/INT4 等低比特量化、稀疏化和剪枝，优化 LLM 在各种硬件上的部署效率。

• Stars: ⭐️ 2.6k
• Tags: Quantization LLM Model Compression Intel
• 最后活动时间: 2026-04-17

krakend-ce

高性能API网关，专为AI模型服务设计，支持GraphQL、微服务架构和云原生部署。

• Stars: ⭐️ 2.6k
• Tags: ai-gateway api-gateway go microservice graphql
• 最后活动时间: 2026-04-10

connector-x

高性能数据库到DataFrame数据加载库，支持Rust和Python，为机器学习数据管道提供极速数据读取能力。

• Stars: ⭐️ 2.6k
• Tags: database dataframe python rust sql
• 最后活动时间: 2026-04-17

deepdetect

C++14深度学习API服务器，支持PyTorch、TensorRT、TensorFlow等多框架模型部署。

• Stars: ⭐️ 2.5k
• Tags: deep-learning pytorch tensorrt model-serving
• 最后活动时间: 2026-04-17

claude-code-hub

Claude Code与Codex API代理服务，提供智能负载均衡、用户管理和使用统计。

• Stars: ⭐️ 2.5k
• Tags: Claude API Proxy Load Balancing
• 最后活动时间: 2026-04-18

tensorflow-onnx

TensorFlow、Keras、TensorFlow.js和TFLite模型转换为ONNX格式的官方工具。

• Stars: ⭐️ 2.5k
• Tags: onnx tensorflow keras model-conversion deep-learning
• 最后活动时间: 2026-04-02

Model-Optimizer

统一的模型优化库，集成量化、剪枝、蒸馏、投机解码等SOTA技术，支持TensorRT-LLM、vLLM等部署框架，显著提升推理速度。

• Stars: ⭐️ 2.5k
• Tags: Model Optimization Quantization Inference
• 最后活动时间: 2026-04-19

faer-rs

Rust语言的高性能线性代数基础库，为机器学习和科学计算提供核心数学运算支持。

• Stars: ⭐️ 2.5k
• Tags: linear-algebra matrix rust machine-learning
• 最后活动时间: 2026-01-26

hamilton

Apache项目，帮助定义可测试、模块化的数据流，支持ML/LLM工作流编排与血缘追踪。

• Stars: ⭐️ 2.5k
• Tags: Dataflow MLOps ETL
• 最后活动时间: 2026-04-17

claude-code-proxy

Claude Code 到 OpenAI API 的代理转换工具，实现接口兼容。

• Stars: ⭐️ 2.4k
• Tags: claude-code openai proxy api
• 最后活动时间: 2026-03-12

tensorflow-federated

Google开源的去中心化机器学习框架，支持在分布式数据上进行模型训练与推理。

• Stars: ⭐️ 2.4k
• Tags: federated-learning tensorflow decentralized-ml
• 最后活动时间: 2026-04-18

agentgateway

新一代AI代理网关，支持MCP服务器和AI代理的代理与路由。

• Stars: ⭐️ 2.4k
• Tags: ai-gateway mcp agents kubernetes rust
• 最后活动时间: 2026-04-17

openlit

OpenTelemetry原生AI工程平台，提供LLM可观测性、GPU监控、护栏和提示词管理等一站式解决方案。

• Stars: ⭐️ 2.4k
• Tags: LLM Observability OpenTelemetry AI Engineering
• 最后活动时间: 2026-04-17

ailia-models

ailia SDK 的预训练模型集合，涵盖图像分类、目标检测、姿态估计等多种 SOTA 模型。

• Stars: ⭐️ 2.3k
• Tags: Pre-trained Models Inference Multi-task
• 最后活动时间: 2026-04-18

langserve

LangChain官方部署工具，将LangChain应用快速打包为生产级REST API服务。

• Stars: ⭐️ 2.3k
• Tags: LangChain Deployment FastAPI LLM
• 最后活动时间: 2026-04-16

instill-core

全栈AI基础设施工具，提供数据、模型和流水线编排能力，支持低代码方式快速构建AI应用。

• Stars: ⭐️ 2.3k
• Tags: AI基础设施 流水线编排 低代码
• 最后活动时间: 2026-04-19

gluon-api

简洁高效的深度学习API框架，提供清晰易用的神经网络开发接口。

• Stars: ⭐️ 2.3k
• Tags: deep-learning neural-network api framework
• 最后活动时间: 2026-01-14

Olive

微软开源的ML模型优化工具，简化模型微调、量化、转换和部署流程，支持CPU/GPU/NPU。

• Stars: ⭐️ 2.3k
• Tags: model-optimization quantization finetuning onnx
• 最后活动时间: 2026-04-18

production-stack

vLLM官方Kubernetes集群部署方案，提供生产级LLM推理服务部署与性能优化。

• Stars: ⭐️ 2.3k
• Tags: vllm kubernetes llm-serving inference production
• 最后活动时间: 2026-04-16

EAGLE

推测解码官方实现，显著加速大语言模型推理(ICML/EMNLP/NeurIPS系列论文)。

• Stars: ⭐️ 2.3k
• Tags: speculative-decoding llm-inference inference-acceleration
• 最后活动时间: 2026-02-20

AIstudioProxyAPI

兼容OpenAI API格式的Google AI Studio代理服务，支持参数转发和调试WebUI面板。

• Stars: ⭐️ 2.3k
• Tags: google-ai-studio proxy openai-api middleware
• 最后活动时间: 2026-04-18

CGraph

跨平台无依赖的C++/Python并行计算DAG框架，适用于AI工作流和Agent流水线编排。

• Stars: ⭐️ 2.3k
• Tags: dag pipeline workflow ai-agents parallel-computing
• 最后活动时间: 2026-04-11

inference

计算机视觉推理服务器，支持YOLO等模型在边缘设备上的部署。

• Stars: ⭐️ 2.3k
• Tags: computer-vision inference object-detection yolo
• 最后活动时间: 2026-04-18

LiteRT

Google端侧AI框架，TensorFlow Lite继任者，支持边缘平台高性能ML与GenAI部署。

• Stars: ⭐️ 2.2k
• Tags: edge-ai on-device-ml tensorflow-lite model-deployment
• 最后活动时间: 2026-04-19

metamcp

一体化MCP聚合网关，集成编排、中间件和代理功能，支持Docker一键部署。

• Stars: ⭐️ 2.2k
• Tags: MCP Gateway Orchestration
• 最后活动时间: 2026-02-08

fairlearn

评估和改进机器学习模型公平性的Python库，促进负责任AI发展。

• Stars: ⭐️ 2.2k
• Tags: fairness responsible-ai machine-learning python
• 最后活动时间: 2026-04-14

cc-mirror

创建多个隔离的 Claude Code 变体，支持 Z.ai、MiniMax、OpenRouter 等自定义提供商。

• Stars: ⭐️ 2.2k
• Tags: claude-code multi-provider proxy
• 最后活动时间: 2026-03-06

ort

Rust 语言实现的高性能 ONNX 模型推理和训练框架。

• Stars: ⭐️ 2.2k
• Tags: onnx inference rust machine-learning ai-training
• 最后活动时间: 2026-04-17

floneum

Rust编写的本地AI模型推理框架，支持即时、可控的预训练模型运行。

• Stars: ⭐️ 2.2k
• Tags: Rust LLM Local AI Whisper
• 最后活动时间: 2026-04-16

tfx

TensorFlow Extended 端到端生产级 ML 流水线平台，支持模型训练、验证和部署全流程。

• Stars: ⭐️ 2.2k
• Tags: tensorflow mlops ml-pipeline production
• 最后活动时间: 2026-04-16

metapi

AI API 聚合网关工具，将多个 AI API 服务（如 New API、One API 等）统一汇聚为单一入口，支持自动发现模型、智能路由和成本优化。

• Stars: ⭐️ 2.2k
• Tags: ai-api api-gateway model-routing openai-compatible
• 最后活动时间: 2026-04-18

dify-plus

Dify企业级增强版，集成管理中心并针对企业场景优化。

• Stars: ⭐️ 2.1k
• Tags: dify enterprise llm-platform ai-platform
• 最后活动时间: 2026-04-16

llama2.mojo

使用纯Mojo语言实现的Llama 2推理引擎，单文件高效运行，支持SIMD和向量化加速。

• Stars: ⭐️ 2.1k
• Tags: Mojo Llama2 Inference Performance
• 最后活动时间: 2026-02-09

subnet-2

基于Bittensor的去中心化可验证AI推理网络，利用零知识证明技术确保推理结果的可信度与透明性。

• Stars: ⭐️ 2.1k
• Tags: bittensor zkml inference blockchain
• 最后活动时间: 2026-04-17

llama_deploy

LlamaIndex 官方部署工具，将智能体工作流快速部署到生产环境。

• Stars: ⭐️ 2.1k
• Tags: agents deployment llamaindex llm multi-agents
• 最后活动时间: 2026-04-06

OnnxStream

轻量级ONNX推理库，支持在树莓派Zero 2上运行SDXL，支持Mistral、Whisper等多种模型。

• Stars: ⭐️ 2.1k
• Tags: ONNX Edge AI Stable Diffusion WASM
• 最后活动时间: 2026-01-20

WAAS

Whisper即服务工具，提供GUI界面和带队列管理的API服务。

• Stars: ⭐️ 2.1k
• Tags: whisper api gui speech-to-text service
• 最后活动时间: 2026-04-17

mcphub

MCP服务器统一管理平台，支持多服务器动态编排、灵活路由策略和端点分发。

• Stars: ⭐️ 2.0k
• Tags: mcp mcp-gateway mcp-router orchestration
• 最后活动时间: 2026-04-16

octopus

个人LLM API聚合服务，统一接入多种大语言模型。

• Stars: ⭐️ 2.0k
• Tags: ai ai-gateway anthropic claude openai
• 最后活动时间: 2026-04-09

spikingjelly

基于PyTorch的开源脉冲神经网络(SNN)深度学习框架，支持神经形态计算。

• Stars: ⭐️ 2.0k
• Tags: 脉冲神经网络 PyTorch 深度学习框架
• 最后活动时间: 2026-04-17

diffrax

基于JAX的可微分数值微分方程求解器，支持GPU加速与自动微分。

• Stars: ⭐️ 2.0k
• Tags: jax differential-equations neural-differential-equations
• 最后活动时间: 2026-04-05

iris.c

FLUX.2图像生成模型的纯C语言推理实现，轻量高效。

• Stars: ⭐️ 1.9k
• Tags: flux inference c-language image-generation
• 最后活动时间: 2026-02-13

opacus

PyTorch差分隐私训练库，支持在保护数据隐私的前提下训练深度学习模型。

• Stars: ⭐️ 1.9k
• Tags: differential-privacy pytorch privacy-preserving-ml
• 最后活动时间: 2026-04-10

deepmd-kit

基于深度学习的分子动力学模拟框架，用于多体势能表示和材料科学计算，支持多种深度学习框架后端。

• Stars: ⭐️ 1.9k
• Tags: Deep Learning Molecular Dynamics Computational Chemistry
• 最后活动时间: 2026-04-17

petastorm

支持从Parquet格式数据集进行单机或分布式深度学习模型训练的库。

• Stars: ⭐️ 1.9k
• Tags: parquet deep-learning tensorflow pytorch
• 最后活动时间: 2026-01-02

flexflow-train

自动发现分布式深度神经网络训练的快速并行化策略，优化大规模模型训练效率。

• Stars: ⭐️ 1.9k
• Tags: distributed-training deep-learning parallelization neural-network
• 最后活动时间: 2026-04-15

aioway

基于RDBMS理念的深度学习框架，支持声明式、可解释、可扩展的模型部署。

• Stars: ⭐️ 1.8k
• Tags: deep-learning pytorch scalable
• 最后活动时间: 2026-04-17

rocketride-server

高性能AI流水线引擎，采用C++核心与50+可扩展节点，支持多模型提供商和向量数据库的LLM工作流构建。

• Stars: ⭐️ 1.8k
• Tags: Pipeline Agent LLM C++
• 最后活动时间: 2026-04-18

torch-mlir

连接PyTorch生态与MLIR生态的编译器基础设施，优化模型部署流程。

• Stars: ⭐️ 1.8k
• Tags: pytorch mlir compiler model-deployment
• 最后活动时间: 2026-04-17

nndeploy

简单易用且高性能的 AI 部署框架，支持 TensorRT、ONNXRuntime、OpenVINO 等多种推理后端和低代码工作流编排。

• Stars: ⭐️ 1.8k
• Tags: 部署框架 TensorRT 多后端 LLM
• 最后活动时间: 2026-04-12

TensorRT-YOLO

NVIDIA TensorRT加速的YOLO模型部署工具包，支持多版本YOLO模型的高效推理部署。

• Stars: ⭐️ 1.8k
• Tags: tensorrt yolo object-detection inference
• 最后活动时间: 2026-03-22

gollama

Go语言编写的Ollama模型管理工具，支持模型查看、删除等操作。

• Stars: ⭐️ 1.8k
• Tags: ollama llm gguf tui
• 最后活动时间: 2025-12-30

dreamfactory

企业级API平台，提供安全的数据访问接口，支持本地部署LLM的API连接与角色权限管理。

• Stars: ⭐️ 1.8k
• Tags: api rest openapi laravel
• 最后活动时间: 2026-04-14

toolhive

企业级MCP服务器运行管理平台，专注于AI安全与基础设施部署，支持Kubernetes环境。

• Stars: ⭐️ 1.7k
• Tags: MCP AI Security Kubernetes
• 最后活动时间: 2026-04-18

aphrodite-engine

大规模LLM推理引擎，支持CUDA、TPU、ROCm等多种硬件加速和推测解码。

• Stars: ⭐️ 1.7k
• Tags: inference-engine llm cuda tpu lora speculative-decoding
• 最后活动时间: 2026-03-12

LLMRouter

开源LLM路由库，智能分配请求到最适合的模型，优化成本与性能平衡。

• Stars: ⭐️ 1.7k
• Tags: llm routing model-selection optimization
• 最后活动时间: 2026-03-17

OpenMLDB

面向机器学习的特征工程数据库，提供训练推理一致性特征计算。

• Stars: ⭐️ 1.7k
• Tags: feature-store machine-learning-database mlops feature-engineering
• 最后活动时间: 2026-04-14

katib

Kubernetes上的自动化机器学习平台，支持超参数调优和神经架构搜索，适用于大规模ML部署。

• Stars: ⭐️ 1.7k
• Tags: AutoML Kubernetes MLOps
• 最后活动时间: 2026-04-14

mlrun

开源MLOps平台，用于快速构建和管理ML应用全生命周期，支持自动化ML流水线、模型服务和CI/CD集成。

• Stars: ⭐️ 1.7k
• Tags: MLOps Kubernetes Model-Serving
• 最后活动时间: 2026-04-17

APIPark

云原生高性能AI网关平台，统一管理OpenAI、Claude、DeepSeek等主流大模型API，提供负载均衡和灾备功能。

• Stars: ⭐️ 1.7k
• Tags: AI Gateway LLM Gateway API Management
• 最后活动时间: 2025-10-26

beta9

超快速无服务器GPU推理平台，专为AI/ML工作负载设计，支持自动扩缩容。

• Stars: ⭐️ 1.6k
• Tags: Serverless GPU LLM推理
• 最后活动时间: 2026-03-25

LlamaEdge

在本地或边缘设备上运行定制化和微调LLM的最快方式，支持Wasm运行时。

• Stars: ⭐️ 1.6k
• Tags: llm edge-computing wasm model-serving
• 最后活动时间: 2026-02-08

BiSeNet

双向分割网络实现，支持TensorRT、NCNN等多种推理框架部署。

• Stars: ⭐️ 1.6k
• Tags: semantic-segmentation pytorch tensorrt onnx
• 最后活动时间: 2026-04-04

PaddleSlim

飞桨深度学习模型压缩与架构搜索库，支持剪枝、量化、蒸馏、NAS等多种模型优化技术。

• Stars: ⭐️ 1.6k
• Tags: model-compression quantization pruning nas
• 最后活动时间: 2026-01-04

graalpython

高性能可嵌入的Python 3运行时，专为Java环境设计，支持在Java应用中运行Python AI/ML模型。

• Stars: ⭐️ 1.6k
• Tags: graalvm python java embeddable
• 最后活动时间: 2026-04-17

CompressAI

端到端压缩研究平台，提供PyTorch库和评估工具。

• Stars: ⭐️ 1.6k
• Tags: compression deep-learning pytorch
• 最后活动时间: 2026-03-31

inference

MLPerf推理基准参考实现，提供机器学习模型推理性能的标准化评测。

• Stars: ⭐️ 1.6k
• Tags: mlperf inference benchmark machine-learning
• 最后活动时间: 2026-04-14

uzu

高性能AI模型推理引擎，使用Rust编写，支持Metal加速。

• Stars: ⭐️ 1.5k
• Tags: Inference Rust High-Performance
• 最后活动时间: 2026-04-19

mleap

ML管道生产部署工具，支持将Spark和scikit-learn模型导出为可移植格式，实现跨平台推理。

• Stars: ⭐️ 1.5k
• Tags: model-deployment spark production
• 最后活动时间: 2026-03-10

ai-gateway

基于Envoy Gateway构建的AI网关，统一管理生成式AI服务访问，支持多LLM提供商接入。

• Stars: ⭐️ 1.5k
• Tags: AI Gateway Envoy LLM
• 最后活动时间: 2026-04-17

paddler

开源LLM负载均衡和服务平台，支持CPU/GPU自托管大规模部署，基于ggml生态构建，部署简单。

• Stars: ⭐️ 1.5k
• Tags: 负载均衡 LLM部署 自托管
• 最后活动时间: 2026-04-17

tensorstore

用于高效读写大型多维数组的库，专为机器学习和科学计算场景优化，支持大规模张量数据存储。

• Stars: ⭐️ 1.5k
• Tags: tensor storage machine-learning data-structures numpy
• 最后活动时间: 2026-04-14

Genie-TTS

GPT-SoVITS ONNX推理引擎与模型转换器，支持高效语音合成模型部署。

• Stars: ⭐️ 1.5k
• Tags: tts onnx voice-cloning gpt-sovits
• 最后活动时间: 2026-04-18

streaming

高效神经网络训练的数据流库，支持大规模数据集流式处理。

• Stars: ⭐️ 1.5k
• Tags: streaming deep-learning pytorch dataset
• 最后活动时间: 2026-02-02

inference-network

去中心化AI推理验证平台，提供无需信任的AI模型输出验证机制，确保AI推理结果的可信度。

• Stars: ⭐️ 1.5k
• Tags: ai-verification inference trustless blockchain
• 最后活动时间: 2025-12-11

geomstats

流形几何结构上的计算与统计库，支持黎曼几何深度学习应用。

• Stars: ⭐️ 1.5k
• Tags: riemannian-geometry manifold deep-learning machine-learning statistics
• 最后活动时间: 2026-04-01

mmengine

OpenMMLab 深度学习模型训练基础库，提供统一的训练框架。

• Stars: ⭐️ 1.5k
• Tags: ai deep-learning pytorch computer-vision
• 最后活动时间: 2025-12-23

AMD-SHARK-Studio

基于SHARK+IREE的高性能机器学习部署Web UI，支持AMD/Apple/NVIDIA多平台。

• Stars: ⭐️ 1.5k
• Tags: ml-deployment iree mlir cross-platform
• 最后活动时间: 2025-12-15

kubernetes-mcp-server

为 Kubernetes 和 OpenShift 提供的 MCP 服务器，让 AI Agent 能够管理容器编排。

• Stars: ⭐️ 1.5k
• Tags: mcp mcp-server kubernetes openshift containers
• 最后活动时间: 2026-04-17

bittensor

去中心化机器学习网络，构建互联网规模的神经网络基础设施，支持P2P协作训练。

• Stars: ⭐️ 1.4k
• Tags: decentralized-ai machine-learning neural-networks blockchain p2p
• 最后活动时间: 2026-04-17

concrete-ml

隐私保护机器学习框架，基于全同态加密技术，支持在加密数据上进行模型推理。

• Stars: ⭐️ 1.4k
• Tags: machine-learning privacy homomorphic-encryption scikit-learn
• 最后活动时间: 2026-02-17

react-native-executorch

基于ExecuTorch的React Native端侧AI推理框架，支持LLM、OCR、语音等多种模型。

• Stars: ⭐️ 1.4k
• Tags: executorch react-native on-device-ai llm-inference ocr
• 最后活动时间: 2026-04-17

headroom

LLM应用上下文优化层，通过智能压缩技术解决上下文窗口限制，支持OpenAI、Anthropic等多种提供商。

• Stars: ⭐️ 1.4k
• Tags: Context Optimization Token Compression LLM Proxy
• 最后活动时间: 2026-04-18

mlops-python-package

一个全面的MLOps Python项目模板，帮助快速启动和标准化机器学习运维流程与数据管道。

• Stars: ⭐️ 1.4k
• Tags: MLOps Python MLflow Template
• 最后活动时间: 2026-01-25

sail

LakeSail推出的统一计算框架，将批处理、流处理和AI计算密集型工作负载整合在一起，基于Rust和Apache Arrow构建。

• Stars: ⭐️ 1.4k
• Tags: artificial-intelligence machine-learning data-engineering distributed-computing
• 最后活动时间: 2026-04-18

ollama-docker

简化Ollama部署的Docker Compose配置，轻松在容器化环境中运行大语言模型。

• Stars: ⭐️ 1.4k
• Tags: ollama docker llm local-ai
• 最后活动时间: 2026-02-11

PaddleSharp

百度Paddle推理库和PaddleOCR的.NET/C#绑定，支持跨平台AI推理。

• Stars: ⭐️ 1.4k
• Tags: paddlepaddle ocr dotnet inference
• 最后活动时间: 2026-01-23

mcp-server-kubernetes

MCP服务器，让AI助手能够管理和操作Kubernetes集群，实现智能化的容器编排与运维。

• Stars: ⭐️ 1.4k
• Tags: Kubernetes MCP DevOps
• 最后活动时间: 2026-04-07

gomlx

Go语言加速机器学习框架，支持高性能ML模型训练与推理。

• Stars: ⭐️ 1.4k
• Tags: go golang machine-learning xla
• 最后活动时间: 2026-04-18

OmDet

实时准确的开放词汇端到端目标检测模型，支持零样本检测与视觉语言理解。

• Stars: ⭐️ 1.4k
• Tags: object-detection open-vocabulary zero-shot vision-language
• 最后活动时间: 2026-03-12

agentapi

为 Claude Code、Goose、Aider、Gemini、Amp、Codex 提供统一的 HTTP API 接口。

• Stars: ⭐️ 1.4k
• Tags: api claude-code codex gemini aider
• 最后活动时间: 2026-04-13

mcp-gateway

Docker MCP CLI插件和网关，用于连接AI模型与外部工具和数据源的Model Context Protocol协议实现。

• Stars: ⭐️ 1.4k
• Tags: mcp docker ai-gateway model-context-protocol
• 最后活动时间: 2026-04-15

kitops

CNCF开源DevOps工具，用于打包和版本管理AI/ML模型、数据集和代码。支持OCI标准，便于Kubernetes部署。

• Stars: ⭐️ 1.3k
• Tags: mlops model-serving kubernetes devops
• 最后活动时间: 2026-04-18

AQLM

大语言模型极限压缩的官方PyTorch实现，支持加性量化压缩技术。

• Stars: ⭐️ 1.3k
• Tags: llm compression quantization pytorch
• 最后活动时间: 2026-02-26

keras-core

Keras API的多后端实现，支持TensorFlow、JAX和PyTorch三大框架，提供统一的深度学习开发体验。

• Stars: ⭐️ 1.3k
• Tags: keras deep-learning tensorflow pytorch jax
• 最后活动时间: 2026-03-10

parallax

分布式模型服务框架，支持在任何环境构建AI推理集群。

• Stars: ⭐️ 1.2k
• Tags: distributed-inference llm-serving model-serving
• 最后活动时间: 2026-04-12

xllm

高性能LLM推理引擎，针对多种AI加速器优化，支持DeepSeek、GLM、Qwen等主流大模型的高效部署。

• Stars: ⭐️ 1.2k
• Tags: Inference LLM Accelerator
• 最后活动时间: 2026-04-17

gemini-business2api

将 Gemini Business 转换为 OpenAI 兼容接口，支持多账户负载均衡及图像、视频生成等多模态能力。

• Stars: ⭐️ 1.2k
• Tags: gemini openai api-proxy load-balancing multimodal
• 最后活动时间: 2026-04-15

uni-api

统一管理多个LLM API提供商的网关服务，支持OpenAI、Claude、Gemini等后端，提供统一接口和负载均衡。

• Stars: ⭐️ 1.2k
• Tags: API网关 负载均衡 OpenAI兼容
• 最后活动时间: 2026-04-18

MInference

NeurIPS'24 Spotlight，通过动态稀疏注意力计算将长上下文LLM推理延迟降低10倍。

• Stars: ⭐️ 1.2k
• Tags: inference-optimization long-context sparse-attention llm
• 最后活动时间: 2026-04-08

dlpack

通用内存张量结构标准，实现深度学习框架间零拷贝数据交换。

• Stars: ⭐️ 1.2k
• Tags: tensor deep-learning interoperability memory
• 最后活动时间: 2026-01-26

csghub-server

CSGHub后端服务，支持数据集和模型管理、模型推理、微调及应用空间运行。

• Stars: ⭐️ 1.2k
• Tags: 模型管理 推理服务 平台
• 最后活动时间: 2026-04-17

ezkl

一个用于深度学习模型和计算图的零知识证明推理引擎(ZKML)，支持Python、JavaScript和命令行调用。

• Stars: ⭐️ 1.2k
• Tags: ai cryptography zero-knowledge zkml
• 最后活动时间: 2026-02-20

langtrace

基于OpenTelemetry的LLM应用可观测性工具，提供实时追踪、评估和监控功能，支持LangChain、OpenAI等主流框架。

• Stars: ⭐️ 1.2k
• Tags: Observability OpenTelemetry LLMOps
• 最后活动时间: 2025-11-17

tabbyAPI

Exllama官方API服务器，兼容OpenAI接口格式，轻量高效，适合本地LLM推理部署。

• Stars: ⭐️ 1.2k
• Tags: llm-serving openai-compatible exllama api-server
• 最后活动时间: 2026-04-18

kubeai

Kubernetes AI 推理运算符，支持 VLM、LLM、Embedding 和语音识别模型的生产级部署。

• Stars: ⭐️ 1.2k
• Tags: Kubernetes Inference LLM
• 最后活动时间: 2026-03-31

kubetorch

在Kubernetes上分布式运行AI工作负载的Python工具，像PyTorch一样简单管理ML基础设施。支持训练、推理和数据处理的无缝部署。

• Stars: ⭐️ 1.2k
• Tags: Kubernetes PyTorch Distributed AI ML Infrastructure
• 最后活动时间: 2026-04-13

pruna

模型优化框架，帮助开发者构建更快、更高效的AI模型，支持视觉、语言和语音模型。

• Stars: ⭐️ 1.2k
• Tags: model-optimization deep-learning llm computer-vision speech
• 最后活动时间: 2026-04-17

onnxmltools

将机器学习模型转换为ONNX格式的工具集，支持Keras、scikit-learn等框架。

• Stars: ⭐️ 1.1k
• Tags: onnx model-conversion interoperability machine-learning
• 最后活动时间: 2026-04-01

cache-dit

PyTorch原生DiT推理引擎，支持混合缓存加速和大规模并行。专为扩散Transformer优化。

• Stars: ⭐️ 1.1k
• Tags: diffusion-transformer inference-engine cache optimization
• 最后活动时间: 2026-04-18

truss

最简单的AI/ML模型生产部署工具。支持Stable Diffusion、Whisper等多种模型，一键打包部署到云端。

• Stars: ⭐️ 1.1k
• Tags: model-serving inference-server machine-learning
• 最后活动时间: 2026-04-17

index-tts-vllm

为IndexTTS添加vLLM支持，实现更快速的TTS推理。

• Stars: ⭐️ 1.1k
• Tags: vllm tts inference-optimization text-to-speech
• 最后活动时间: 2026-04-13

search-and-learn

扩展开源模型推理时计算的资源配方。优化LLM推理性能与资源利用。

• Stars: ⭐️ 1.1k
• Tags: llm inference compute-optimization
• 最后活动时间: 2026-04-02

clewdr

高性能LLM反向代理服务，支持多模型负载均衡。

• Stars: ⭐️ 1.1k
• Tags: llm proxy high-performance infrastructure
• 最后活动时间: 2026-04-07

frugally-deep

轻量级仅头文件C++库，用于在C++中推理Keras/TensorFlow模型，适合边缘部署。

• Stars: ⭐️ 1.1k
• Tags: keras tensorflow cpp model-inference edge-computing
• 最后活动时间: 2026-03-13

GPTQModel

LLM模型量化工具包，支持NVIDIA/AMD/Intel多硬件加速，集成vLLM和SGLang推理框架。

• Stars: ⭐️ 1.1k
• Tags: quantization llm vllm inference
• 最后活动时间: 2026-04-19

llmgateway

统一管理多个LLM提供商API请求的网关，提供智能路由、速率限制、成本分析和安全防护功能。

• Stars: ⭐️ 1.1k
• Tags: API网关 多提供商 企业级
• 最后活动时间: 2026-04-18

turboquant

面向LLM推理的近最优KV缓存量化方案，支持3-bit键和2-bit值量化，集成Triton内核与vLLM。

• Stars: ⭐️ 1.1k
• Tags: llm quantization kv-cache inference triton vllm
• 最后活动时间: 2026-03-27

rtp-llm

阿里巴巴开源的高性能大语言模型推理引擎，专为多样化应用场景优化，提供卓越的推理性能。

• Stars: ⭐️ 1.1k
• Tags: LLM 推理引擎 阿里巴巴
• 最后活动时间: 2026-04-18

spark-vllm-docker

双DGX Spark环境下的VLLM推理引擎Docker配置，专为高性能大模型推理部署优化。

• Stars: ⭐️ 1.1k
• Tags: vllm llm-inference docker gpu
• 最后活动时间: 2026-04-18

awesome-mojo

Mojo编程语言的精选资源列表，Mojo是专为AI开发设计的高性能编程语言，兼容Python生态。

• Stars: ⭐️ 1.1k
• Tags: mojo ai programming-language python-compatible
• 最后活动时间: 2026-04-01

mlops-zero-to-hero

从零到精通的MLOps课程笔记，涵盖机器学习运维全流程实践。

• Stars: ⭐️ 1.1k
• Tags: mlops machine-learning devops udemy
• 最后活动时间: 2026-01-18

fizz-gateway-node

大模型API聚合网关，支持API集成、脱敏、安全与溯源，为企业级AI应用提供统一的模型调用管理。

• Stars: ⭐️ 1.1k
• Tags: api-gateway llm ai-gateway security
• 最后活动时间: 2025-12-17

OpenTrit-CHN

开源跨框架混合三值化工具包，支持PyTorch与TensorFlow模型一键转换，封装异构算力调度与量化优化。

• Stars: ⭐️ 1.0k
• Tags: quantization pytorch tensorflow model-compression
• 最后活动时间: 2026-03-01

kvpress

简化LLM KV缓存压缩，支持长上下文推理优化。

• Stars: ⭐️ 1.0k
• Tags: kv-cache compression llm long-context
• 最后活动时间: 2026-04-14

wllama

llama.cpp的WebAssembly绑定，实现浏览器端LLM推理能力。

• Stars: ⭐️ 1.0k
• Tags: wasm webassembly llm browser-inference
• 最后活动时间: 2025-12-17

optimum-quanto

PyTorch 模型量化后端，支持高效模型部署和推理优化。

• Stars: ⭐️ 1.0k
• Tags: quantization pytorch model-optimization inference
• 最后活动时间: 2026-04-02

TorchBench

PyTorch官方性能评估基准测试集合，用于评估和优化PyTorch模型性能。

• Stars: ⭐️ 1.0k
• Tags: pytorch benchmark performance
• 最后活动时间: 2026-04-17

guidellm

LLM部署评估工具，帮助优化大模型在实际推理场景中的性能表现。

• Stars: ⭐️ 1.0k
• Tags: LLM Evaluation Deployment Inference
• 最后活动时间: 2026-04-17

monarch

PyTorch单控制器架构，用于分布式训练和模型并行计算。

• Stars: ⭐️ 1.0k
• Tags: pytorch distributed model-parallelism
• 最后活动时间: 2026-04-18

TenSEAL

用于张量同态加密操作的Python库，支持隐私保护机器学习。基于Microsoft SEAL构建，实现加密状态下的深度学习计算。

• Stars: ⭐️ 1.0k
• Tags: Homomorphic Encryption Privacy-Preserving ML Tensor Operations
• 最后活动时间: 2026-02-27

onnxruntime-genai

ONNX Runtime 的生成式 AI 扩展，提供高效的模型推理与部署能力。

• Stars: ⭐️ 1.0k
• Tags: onnx generative-ai model-inference optimization
• 最后活动时间: 2026-04-18

mongodb-mcp-server

MCP 协议服务器，让 AI Agent 能够连接和操作 MongoDB 数据库及 Atlas 集群。

• Stars: ⭐️ 1.0k
• Tags: mcp mcp-server mongodb mongodb-atlas
• 最后活动时间: 2026-04-18

chronon

专为AI/ML应用设计的数据服务平台，提供高效的数据管道和特征存储能力。

• Stars: ⭐️ 999
• Tags: ml data-platform feature-store ai-infrastructure
• 最后活动时间: 2026-04-17

ai-hub-models

高通AI Hub提供的SOTA机器学习模型集合，针对高通设备优化延迟和内存，可直接部署。

• Stars: ⭐️ 996
• Tags: deeplearning inference onnx pytorch tensorflow-lite
• 最后活动时间: 2026-04-18

litert-torch

支持PyTorch模型转换为LiteRT格式的工具，用于端侧部署优化。

• Stars: ⭐️ 996
• Tags: pytorch model-conversion on-device tensorflow-lite
• 最后活动时间: 2026-04-13

nixl

NVIDIA推理传输库，优化AI模型推理过程中的数据传输性能。

• Stars: ⭐️ 990
• Tags: nvidia inference gpu-optimization transfer-library
• 最后活动时间: 2026-04-18

VoAPI

新一代AI大模型API聚合分发系统，支持多模型统一接口管理，具备高扩展性和高性能。

• Stars: ⭐️ 985
• Tags: api-gateway openai claude ai-agents api-aggregation
• 最后活动时间: 2026-01-27

sparkling-water

将H2O机器学习平台与Apache Spark深度集成，支持在Spark集群中运行H2O算法，实现大规模分布式机器学习。

• Stars: ⭐️ 977
• Tags: Machine Learning Spark H2O Big Data
• 最后活动时间: 2025-11-05

JSTprove

快速、可验证的AI推理框架，基于零知识机器学习(zkML)技术，为AI模型提供可验证的计算证明。

• Stars: ⭐️ 970
• Tags: zkml verifiable-ai zero-knowledge
• 最后活动时间: 2026-04-17

MCPJungle

自托管的MCP网关，为AI代理提供统一的MCP服务器管理和注册服务。

• Stars: ⭐️ 967
• Tags: MCP 网关 基础设施
• 最后活动时间: 2026-04-18

bedrock-access-gateway

为Amazon Bedrock提供OpenAI兼容的RESTful API接口，便于开发者无缝迁移和集成AWS大模型服务。

• Stars: ⭐️ 964
• Tags: AWS Bedrock OpenAI Compatible API Gateway
• 最后活动时间: 2026-04-15

Nanoflow

面向吞吐量的高性能LLM服务框架。针对CUDA优化，专为大规模语言模型推理设计。

• Stars: ⭐️ 952
• Tags: llm-serving inference cuda high-performance
• 最后活动时间: 2026-03-29

ccflare

Claude Code的高性能代理服务，提供API转发与流量管理功能。

• Stars: ⭐️ 948
• Tags: claude-api proxy anthropic-api claude-code
• 最后活动时间: 2026-04-15

onnx2tf

强大的模型转换工具，支持 ONNX 到 TFLite、TensorFlow、PyTorch 等多种格式的相互转换，支持 Core ML 导出。

• Stars: ⭐️ 947
• Tags: onnx tensorflow pytorch model-converter coreml
• 最后活动时间: 2026-04-01

YOLOs-CPP

跨平台生产级C++推理引擎，支持YOLO v5-v12模型，统一API实现目标检测、分割、姿态估计等功能，基于ONNX Runtime优化。

• Stars: ⭐️ 945
• Tags: yolo inference-engine onnx cpp object-detection
• 最后活动时间: 2026-04-13

YOLOs-CPP

跨平台生产级C++推理引擎，支持YOLO v5-v12模型，统一API实现目标检测、分割、姿态估计等功能，基于ONNX Runtime优化。

• Stars: ⭐️ 945
• Tags: yolo inference-engine onnx cpp object-detection
• 最后活动时间: 2026-04-13

checkpoint-engine

用于LLM推理引擎的轻量级中间件，支持动态更新模型权重。

• Stars: ⭐️ 941
• Tags: llm-inference checkpoint model-serving middleware
• 最后活动时间: 2026-02-28

zzz-api

稳定的OpenAI、Claude等API代理服务，支持多种AI模型接口调用。

• Stars: ⭐️ 933
• Tags: api-proxy openai claude gemini
• 最后活动时间: 2026-02-02

Fast-dLLM

无需训练即可加速扩散LLM推理的方法，支持KV缓存与并行解码。

• Stars: ⭐️ 932
• Tags: llm inference acceleration kv-cache
• 最后活动时间: 2026-04-14

tensorrtllm_backend

NVIDIA Triton推理服务器的TensorRT-LLM后端，提供高性能LLM推理部署能力。

• Stars: ⭐️ 931
• Tags: tensorrt triton llm-inference nvidia
• 最后活动时间: 2026-04-16

openpcc

可验证隐私AI推理的开源框架。保护数据隐私的同时执行模型推理。

• Stars: ⭐️ 929
• Tags: privacy inference secure-computation
• 最后活动时间: 2026-01-08

openinference

专为AI应用设计的OpenTelemetry可观测性工具，支持LangChain、LlamaIndex等主流框架的追踪与监控。

• Stars: ⭐️ 926
• Tags: Observability OpenTelemetry LLMOps
• 最后活动时间: 2026-04-17

transcriptionstream

开箱即用的自托管离线转录服务，支持说话人分离和LLM摘要生成。完全本地化运行，保护隐私数据安全。

• Stars: ⭐️ 926
• Tags: 转录服务 说话人分离 自托管
• 最后活动时间: 2026-01-18

MCP-Bridge

中间件服务，提供OpenAI兼容接口并支持调用MCP工具。

• Stars: ⭐️ 923
• Tags: MCP OpenAI 中间件
• 最后活动时间: 2025-12-08

Serving

飞桨服务化部署框架，支持高性能模型推理服务部署，提供DAG流水线和微服务架构。

• Stars: ⭐️ 921
• Tags: model-serving deep-learning deployment paddle
• 最后活动时间: 2026-02-20

NVFlare

NVIDIA开发的联邦学习应用运行环境，支持去中心化的隐私保护机器学习训练和推理。

• Stars: ⭐️ 920
• Tags: federated-learning privacy distributed-ml
• 最后活动时间: 2026-04-18

compose-for-agents

使用 Docker Compose 构建和运行 AI 智能体，提供开箱即用的编排示例。

• Stars: ⭐️ 918
• Tags: ai-agents docker docker-compose llm self-hosted
• 最后活动时间: 2026-03-24

mindnlp

MindSpore与HuggingFace无缝集成库，支持在昇腾平台上运行Transformers和Diffusers模型。

• Stars: ⭐️ 917
• Tags: mindspore huggingface transformers llm deep-learning
• 最后活动时间: 2026-03-08

sherpa

基于下一代Kaldi的语音识别服务器框架，支持多种端到端ASR模型，提供WebSocket实时接口。

• Stars: ⭐️ 913
• Tags: ASR 实时语音 模型部署
• 最后活动时间: 2026-04-19

Paddle2ONNX

飞桨模型转换为ONNX格式的工具，支持分类、检测、OCR等多种模型导出。

• Stars: ⭐️ 913
• Tags: onnx paddlepaddle model-conversion deployment
• 最后活动时间: 2026-03-18

xmanager

机器学习实验管理平台，支持大规模实验组织和追踪。

• Stars: ⭐️ 905
• Tags: experiment-management machine-learning deepmind
• 最后活动时间: 2026-03-31

AI-Gateway

基于Azure API Management和Microsoft Foundry的AI网关实验室，支持探索AI模型、MCP服务器和智能体开发。

• Stars: ⭐️ 904
• Tags: AI Gateway MCP Agents Azure
• 最后活动时间: 2026-04-17

ZhiLight

高性能LLM推理加速引擎，针对Llama及其变体模型进行深度优化。

• Stars: ⭐️ 904
• Tags: Inference CUDA LLM Serving
• 最后活动时间: 2026-03-18

oryx

基于Apache Spark和Kafka的Lambda架构框架，支持大规模实时机器学习应用。

• Stars: ⭐️ 904
• Tags: apache-spark apache-kafka machine-learning lambda-architecture
• 最后活动时间: 2026-03-27

mosec

高性能ML模型服务框架，支持动态批处理和CPU/GPU流水线。用Rust编写核心，充分利用计算资源。

• Stars: ⭐️ 899
• Tags: model-serving inference gpu rust
• 最后活动时间: 2026-04-16

fal

快速部署开源机器学习模型的高性能推理平台，支持大规模生产环境服务。

• Stars: ⭐️ 890
• Tags: model-serving ml-inference production-ml
• 最后活动时间: 2026-04-17

MLServer

多功能机器学习推理服务器，支持Scikit-learn、XGBoost、LightGBM等多种框架的多模型部署。

• Stars: ⭐️ 884
• Tags: model-serving inference mlflow scikit-learn xgboost
• 最后活动时间: 2026-04-18

mistral-common

Mistral模型官方推理预处理库。提供标准化的模型输入处理流程。

• Stars: ⭐️ 882
• Tags: mistral llm inference preprocessing
• 最后活动时间: 2026-04-01

ssd

轻量级推理引擎，支持推测解码(SSD)技术，加速大模型推理过程。

• Stars: ⭐️ 881
• Tags: inference-engine speculative-decoding llm
• 最后活动时间: 2026-03-22

vllm-mlx

专为 Apple Silicon 优化的推理服务器，支持 LLM 和多模态模型的连续批处理推理，原生 MLX 后端实现高达 400+ tok/s 性能。

• Stars: ⭐️ 878
• Tags: Apple Silicon MLX 推理服务 多模态
• 最后活动时间: 2026-04-18

dmlc-core

分布式机器学习核心组件库，为XGBoost等框架提供可扩展的基础设施支持。

• Stars: ⭐️ 877
• Tags: distributed-ml xgboost scalable
• 最后活动时间: 2026-04-13

wassette

安全导向的WebAssembly组件运行时，通过MCP协议支持AI模型部署。

• Stars: ⭐️ 875
• Tags: mcp wasm wasm-component wasmtime
• 最后活动时间: 2026-03-14

hyper-mcp

快速安全的MCP服务器，支持WebAssembly插件扩展，为AI应用提供灵活架构。

• Stars: ⭐️ 872
• Tags: MCP WebAssembly 插件化
• 最后活动时间: 2026-04-17

relay-pulse

企业级 LLM 中转服务可用性监控系统，实时追踪服务状态并提供可视化仪表板，保障 AI 服务稳定性。

• Stars: ⭐️ 871
• Tags: LLM监控 服务可用性 可视化
• 最后活动时间: 2026-04-17

chatllm.cpp

纯C++实现的本地LLM推理框架，支持CPU和GPU实时聊天推理，轻量高效。

• Stars: ⭐️ 865
• Tags: LLM Inference C++ Local
• 最后活动时间: 2026-04-03

model_server

专为OpenVINO优化的可扩展推理服务器。支持边缘和云端部署，提供DAG流水线能力。

• Stars: ⭐️ 858
• Tags: openvino inference edge-ai kubernetes
• 最后活动时间: 2026-04-17

openrelay

免费AI模型代理服务，提供数百个免费模型配额，支持一键接入本地项目，兼容多种主流AI工具和IDE。

• Stars: ⭐️ 857
• Tags: ai-proxy llm-proxy model-router openai claude
• 最后活动时间: 2026-04-18

onprem

离线环境LLM应用工具包，专为处理敏感数据和受限环境设计，支持本地化部署。

• Stars: ⭐️ 835
• Tags: llm offline privacy local-deployment
• 最后活动时间: 2026-03-24

hpc-ops

高性能LLM推理算子库，优化大模型推理性能。

• Stars: ⭐️ 828
• Tags: llm inference high-performance
• 最后活动时间: 2026-04-13

yokai

模块化、可观测的Go后端框架，内置MCP服务器支持，便于构建AI集成应用。

• Stars: ⭐️ 827
• Tags: go mcp mcp-server framework observability
• 最后活动时间: 2026-02-24

ccNexus

专为Claude Code和Codex CLI设计的智能API网关，支持端点轮换、用量监控，并可无缝集成OpenAI、Gemini等多个AI平台。

• Stars: ⭐️ 825
• Tags: API Gateway Claude Code Load Balancing
• 最后活动时间: 2026-04-13

coderunner

为AI代理设计的本地沙箱环境，支持安全隔离的代码执行和容器化运行，保障AI代码执行的安全性。

• Stars: ⭐️ 819
• Tags: Sandbox Claude Code MCP Containerization
• 最后活动时间: 2026-04-14

Stan Math Library

C++模板库，支持任意阶自动微分（前向、反向和混合模式），内置概率建模、线性代数和方程求解函数。

• Stars: ⭐️ 818
• Tags: Automatic Differentiation C++ Probabilistic Modeling
• 最后活动时间: 2026-04-17

llamafarm

一站式AI模型部署平台，支持本地或远程快速部署模型、Agent、RAG和数据库管道。

• Stars: ⭐️ 817
• Tags: 模型部署 MLOps RAG
• 最后活动时间: 2026-04-17

mesh-llm

基于llama.cpp的分布式LLM推理参考实现，支持跨机器分布式推理，提供端到端演示。

• Stars: ⭐️ 814
• Tags: llm distributed-inference llama.cpp
• 最后活动时间: 2026-04-19

mesh-llm

基于llama.cpp的分布式LLM推理框架，支持跨机器协同推理，提供完整的端到端演示。

• Stars: ⭐️ 814
• Tags: llm distributed-inference llama.cpp
• 最后活动时间: 2026-04-19

context-space

上下文工程基础设施平台，提供MCP服务端与客户端的完整解决方案。

• Stars: ⭐️ 810
• Tags: mcp context-engineering ai-agent model-context-protocol
• 最后活动时间: 2025-10-22

RTNeural

实时神经网络推理引擎，专为低延迟音频处理和嵌入式系统设计。

• Stars: ⭐️ 807
• Tags: real-time-inference neural-network audio-processing embedded
• 最后活动时间: 2025-11-08

llama3.java

纯Java实现的Llama 3推理引擎，支持SIMD加速，适合Java生态的LLM部署。

• Stars: ⭐️ 805
• Tags: llm java llama3 inference
• 最后活动时间: 2026-04-10

codex-lb

ChatGPT/Codex多账号负载均衡代理工具，支持用量追踪、仪表盘和OpenCode兼容端点。

• Stars: ⭐️ 798
• Tags: load-balancer openai chatgpt api-proxy dashboard
• 最后活动时间: 2026-04-16

nobodywho

支持多平台的本地LLM推理引擎，可在任何设备上高效运行大语言模型，支持Godot游戏引擎和Flutter。

• Stars: ⭐️ 797
• Tags: Inference Local AI Cross-platform
• 最后活动时间: 2026-04-18

neoml

支持深度学习和传统算法的机器学习框架，支持ONNX格式，适合跨平台部署。

• Stars: ⭐️ 797
• Tags: machine-learning deep-learning neural-network onnx cpp
• 最后活动时间: 2025-11-26

QPT

一款专注于AI/深度学习项目的Python打包工具，可将Python项目转换为可执行EXE文件，支持CUDA、PaddlePaddle等深度学习框架的无缝打包部署。

• Stars: ⭐️ 795
• Tags: python packaging deep-learning cuda paddlepaddle
• 最后活动时间: 2026-02-06

darknet

经典开源深度学习框架，YOLO目标检测算法的原始实现，广泛用于实时目标检测应用。

• Stars: ⭐️ 792
• Tags: yolo object-detection neural-networks computer-vision
• 最后活动时间: 2026-04-13

MagiAttention

面向超长上下文和异构数据训练的分布式注意力机制，实现线性可扩展性。

• Stars: ⭐️ 783
• Tags: distributed-attention long-context training scalability
• 最后活动时间: 2026-04-08

X2Paddle

飞桨深度学习模型转换工具，支持PyTorch、TensorFlow、ONNX等框架模型互转。

• Stars: ⭐️ 774
• Tags: model-converter paddlepaddle pytorch tensorflow onnx
• 最后活动时间: 2025-10-22

reverb

高效易用的机器学习数据存储和传输系统，专为ML研究设计。

• Stars: ⭐️ 773
• Tags: data-storage reinforcement-learning tensorflow
• 最后活动时间: 2026-04-16

cog-comfyui

将ComfyUI打包为API服务，方便部署和调用Stable Diffusion图像生成工作流。

• Stars: ⭐️ 765
• Tags: comfyui stable-diffusion api model-serving
• 最后活动时间: 2025-11-03

comfy-cli

ComfyUI官方命令行管理工具，简化Stable Diffusion工作流的安装、更新与环境配置。

• Stars: ⭐️ 755
• Tags: ComfyUI CLI Stable Diffusion
• 最后活动时间: 2026-04-15

comfyui-openrouter-ai

一站式ComfyUI工作流和AI模型管理平台，支持负载均衡、可视化表单、用户积分系统和完整管理后台，适合自托管部署。

• Stars: ⭐️ 754
• Tags: comfyui ai-models openrouter-api workflow-management
• 最后活动时间: 2025-10-28

stable-diffusion-portable

便携版Stable Diffusion部署方案，无需安装即可快速运行AI图像生成。

• Stars: ⭐️ 748
• Tags: stable-diffusion portable image-generation
• 最后活动时间: 2026-02-24

llm-server-docs

完整的本地私有LLM服务器部署文档，支持聊天、RAG、MCP、图像生成和TTS等功能。

• Stars: ⭐️ 742
• Tags: LLM Server Self-hosted Docker
• 最后活动时间: 2026-03-02

io

TensorFlow SIG-IO维护的数据集、流媒体和文件系统扩展库。

• Stars: ⭐️ 736
• Tags: tensorflow dataset streaming filesystem
• 最后活动时间: 2026-03-11

yolort

YOLOv5跨平台推理运行时，支持TensorRT、ONNXRuntime、TVM等多种加速器部署。

• Stars: ⭐️ 730
• Tags: yolo inference tensorrt onnxruntime pytorch
• 最后活动时间: 2026-04-10

aperture

现代化工作负载的限流、缓存和请求优先级管理工具，支持LLM和云原生环境。

• Stars: ⭐️ 727
• Tags: rate-limiter caching kubernetes llm cloud-native
• 最后活动时间: 2025-12-21

mcpcan

MCP服务集中管理平台，支持容器化部署、服务监控和令牌验证，解决MCP服务安全与快速部署问题。

• Stars: ⭐️ 718
• Tags: MCP Container Kubernetes Platform
• 最后活动时间: 2026-04-03

TileRT

基于分块计算的 LLM 推理运行时，实现超低延迟的大语言模型推理服务。

• Stars: ⭐️ 710
• Tags: llm-inference low-latency runtime optimization
• 最后活动时间: 2026-03-08

clove

Claude.ai 反向代理服务，帮助开发者更灵活地调用 Claude API 服务。

• Stars: ⭐️ 707
• Tags: claude reverse-proxy api
• 最后活动时间: 2026-03-28

mlx-omni-server

基于Apple MLX框架的本地推理服务器，提供OpenAI兼容API，专为Apple Silicon优化。

• Stars: ⭐️ 706
• Tags: mlx local-inference openai-api apple-silicon
• 最后活动时间: 2026-03-10

LightCompress

强大的大模型压缩工具包，支持LLM、VLM和视频生成模型的量化、剪枝和Token缩减。已被EMNLP 2024和AAAI 2026收录。

• Stars: ⭐️ 704
• Tags: Model Compression Quantization LLM Pruning
• 最后活动时间: 2026-04-01

lws

Kubernetes API用于部署LLM推理工作负载，支持Leader-Worker模式的Pod组复制管理。

• Stars: ⭐️ 699
• Tags: llm-inference kubernetes model-serving
• 最后活动时间: 2026-04-15

FfDL

IBM开源的深度学习平台，在Kubernetes上提供TensorFlow、PyTorch、Caffe等框架即服务，支持模型训练与部署。

• Stars: ⭐️ 689
• Tags: Deep Learning Kubernetes Model Serving
• 最后活动时间: 2026-01-29

triton-client

NVIDIA Triton推理服务器客户端库，支持Python、C++、Java等多语言模型部署与调用。

• Stars: ⭐️ 687
• Tags: triton inference-server model-serving grpc
• 最后活动时间: 2026-04-18

kale

Kubeflow流水线的数据科学工具包，简化机器学习工作流的部署与管理。

• Stars: ⭐️ 683
• Tags: kubeflow kubeflow-pipelines machine-learning
• 最后活动时间: 2026-04-16

mcp-proxy

MCP代理服务器，通过单一HTTP端点聚合和提供多个MCP资源服务。

• Stars: ⭐️ 681
• Tags: mcp mcp-server claude modelcontextprotocol
• 最后活动时间: 2026-02-19

ml-metadata

ML工作流元数据记录与检索工具，帮助管理机器学习开发流程。

• Stars: ⭐️ 676
• Tags: ml-metadata ml-pipeline workflow
• 最后活动时间: 2026-02-12

catwalk

LLM推理提供商和模型的集合工具，支持多种推理后端和模型格式，便于快速切换和部署。

• Stars: ⭐️ 675
• Tags: LLM Inference Model Serving
• 最后活动时间: 2026-04-18

ServerlessLLM

面向所有人的无服务器LLM服务框架。支持HuggingFace模型，降低大模型部署门槛。

• Stars: ⭐️ 674
• Tags: serverless llm-serving huggingface model-serving
• 最后活动时间: 2026-03-06

zerogravity

兼容OpenAI、Anthropic和Gemini的代理服务，模拟真实Antigravity流量访问Google服务。

• Stars: ⭐️ 671
• Tags: OpenAI Anthropic Gemini Proxy
• 最后活动时间: 2026-04-16

timber

经典ML模型的AOT编译器，将XGBoost、LightGBM等模型编译为C99推理代码，比Python快336倍。

• Stars: ⭐️ 668
• Tags: Model Serving Compiler Inference
• 最后活动时间: 2026-04-16

MinivLLM

轻量级vLLM复现实现，包含自包含的分页注意力和Flash Attention核心组件。

• Stars: ⭐️ 665
• Tags: vllm inference paged-attention flash-attention
• 最后活动时间: 2026-03-16

long-context-attention

统一序列并行注意力机制USP，支持长上下文Transformer模型的训练与推理。

• Stars: ⭐️ 663
• Tags: ring-attention sequence-parallel llm-training llm-inference
• 最后活动时间: 2026-01-15

ITensors.jl

Julia语言的高效张量计算与张量网络库，广泛应用于机器学习、量子计算和物理模拟领域。

• Stars: ⭐️ 662
• Tags: tensor-computations tensor-networks julia machine-learning
• 最后活动时间: 2026-04-18

OpenTinker

RL-as-a-Service基础设施平台，专为基础模型提供强化学习服务能力。

• Stars: ⭐️ 661
• Tags: RL Infrastructure Foundation Models
• 最后活动时间: 2026-03-21

ai-dial-core

AI DIAL核心组件，提供统一的API接口访问多种聊天模型、嵌入模型和AI助手。

• Stars: ⭐️ 655
• Tags: Model Gateway API Proxy LLM Serving
• 最后活动时间: 2026-04-17

ck

社区驱动的AI/ML自动化与基准测试平台，基于MLPerf方法论帮助优化AI工作负载在不同硬件和软件环境中的性能。

• Stars: ⭐️ 646
• Tags: mlperf mlops benchmarking automation ai-optimization
• 最后活动时间: 2026-03-12

mlops-coding-course

MLOps实战课程，教授如何构建、开发与维护企业级机器学习运维代码库。

• Stars: ⭐️ 646
• Tags: mlops machine-learning devops best-practices
• 最后活动时间: 2026-01-25

gateway-api-inference-extension

Kubernetes Gateway API的推理扩展，为AI模型推理提供标准化的流量管理和路由能力。

• Stars: ⭐️ 645
• Tags: Kubernetes Inference API Gateway
• 最后活动时间: 2026-04-18

MCP

Jina AI官方远程MCP服务器，为AI应用提供模型上下文协议支持。

• Stars: ⭐️ 645
• Tags: mcp mcp-server jina-ai
• 最后活动时间: 2026-03-14

stablehlo

向后兼容的ML计算算子集，受HLO/MHLO启发，用于跨框架模型移植。

• Stars: ⭐️ 643
• Tags: ml-compiler portable-ml hlo
• 最后活动时间: 2026-04-13

candle-vllm

高效的本地LLM推理和服务平台，提供OpenAI兼容的API服务器。

• Stars: ⭐️ 642
• Tags: inference llm api-server
• 最后活动时间: 2026-04-18

nest-simulator

脉冲神经网络模拟器，用于计算神经科学和类脑计算研究，支持大规模神经元网络仿真。

• Stars: ⭐️ 642
• Tags: neuroscience spiking-neural-networks simulation
• 最后活动时间: 2026-04-17

backend.ai

一个流线型的容器化计算集群平台，支持主流ML框架和多种编程语言，提供CUDA GPU、TPU、NPU等异构加速器支持。

• Stars: ⭐️ 629
• Tags: ML Infrastructure GPU Computing Container Platform
• 最后活动时间: 2026-04-18

ollama_proxy_server

Ollama多实例代理服务器，提供API密钥安全管理、智能负载均衡和用户权限管理，适合团队协作部署。

• Stars: ⭐️ 619
• Tags: Ollama Proxy Load Balancer
• 最后活动时间: 2026-04-18

lollms_hub

多实例Ollama代理服务器，提供API网关、负载均衡、速率限制和密钥安全管理功能。

• Stars: ⭐️ 619
• Tags: ollama api-gateway load-balancer proxy llm-serving
• 最后活动时间: 2026-04-18

Neuraxle

简洁的AutoML库，提供清晰的深度学习生产管道抽象。支持超参数调优，兼容Scikit-Learn和TensorFlow。

• Stars: ⭐️ 614
• Tags: automl pipeline hyperparameter-tuning machine-learning
• 最后活动时间: 2026-02-20

icechunk

云原生事务性张量存储引擎，专为AI/ML工作负载设计，支持xarray和Zarr格式的高效数据管理。

• Stars: ⭐️ 613
• Tags: tensor-storage xarray zarr cloud-native
• 最后活动时间: 2026-04-16

ejml

高性能Java线性代数库，支持密集矩阵、稀疏矩阵、实数和复数矩阵运算，是机器学习和AI开发的基础数学库。

• Stars: ⭐️ 612
• Tags: linear-algebra matrix machine-learning java
• 最后活动时间: 2026-04-19

SINQ

新型快速高质量量化方法，可在保持精度的同时压缩大语言模型。

• Stars: ⭐️ 611
• Tags: quantization llm-compression model-optimization
• 最后活动时间: 2026-02-23

ai00_server

一体化 RWKV 运行时服务，集成嵌入、RAG、AI 智能体等功能，兼容 OpenAI API。

• Stars: ⭐️ 610
• Tags: rwkv llm rag openai-api aiagents
• 最后活动时间: 2026-02-22

Gemini-FastAPI

将 Gemini 模型封装为 OpenAI 兼容的 API 接口，方便开发者无缝切换使用。

• Stars: ⭐️ 607
• Tags: fastapi gemini openai-api api-wrapper
• 最后活动时间: 2026-04-13

fastapi-ml-skeleton

FastAPI机器学习模型服务骨架应用，快速构建生产级ML API服务。

• Stars: ⭐️ 604
• Tags: fastapi model-serving production-ml
• 最后活动时间: 2026-01-08

llms

LLM客户端、服务器API和UI工具集，提供完整的模型服务解决方案。

• Stars: ⭐️ 603
• Tags: LLM API Server
• 最后活动时间: 2026-04-18

dlstreamer

Intel开源的深度学习流媒体分析框架，基于GStreamer构建云端和边缘媒体分析管道。

• Stars: ⭐️ 600
• Tags: deep-learning gstreamer inference openvino edge-ai
• 最后活动时间: 2026-04-17

informers

Ruby语言的高性能Transformer推理库，支持命名实体识别、问答和情感分析任务。

• Stars: ⭐️ 600
• Tags: ruby transformer-inference nlp
• 最后活动时间: 2026-04-15

hugot

Golang语言的ONNX Transformer推理管道，支持在Go环境中运行NLP模型。

• Stars: ⭐️ 593
• Tags: golang onnx transformer-inference
• 最后活动时间: 2026-04-18

mcp-gateway

MCP服务器的反向代理和管理层，支持Kubernetes环境下的可扩展、会话感知的状态路由和生命周期管理。

• Stars: ⭐️ 589
• Tags: MCP LLM Infrastructure Kubernetes
• 最后活动时间: 2026-04-16

openscoring

RESTful Web服务，用于Scikit-Learn、R和Apache Spark模型的实时推理评分（延迟<1ms），支持PMML格式模型部署。

• Stars: ⭐️ 589
• Tags: machine-learning model-serving pmml scikit-learn real-time-inference
• 最后活动时间: 2026-02-02

ai-gateway

快速、轻量的开源AI网关，提供负载均衡、缓存、限流和可观测性功能。

• Stars: ⭐️ 573
• Tags: ai-gateway llm load-balancing rate-limiting observability
• 最后活动时间: 2025-11-21

optimistix

基于JAX+Equinox的非线性优化库，支持根查找、最小二乘等优化任务。

• Stars: ⭐️ 570
• Tags: optimization jax deep-learning equinox
• 最后活动时间: 2026-04-13

casbin-gateway

专为AI和MCP服务设计的安全网关，支持HTTP代理和OAuth认证，为LLM应用提供企业级安全防护。

• Stars: ⭐️ 557
• Tags: AI Security LLM Gateway MCP Proxy
• 最后活动时间: 2026-04-17

ai.deploy.box

深度学习模型部署工具箱，支持 C++ 部署 Yolo、GAN、OCR、StableDiffusion 等多种模型。支持 ONNX、NCNN、WebAssembly 等多平台。

• Stars: ⭐️ 550
• Tags: model-deployment yolo onnx ncnn cpp stable-diffusion
• 最后活动时间: 2025-10-20

llumnix-ray

高效易用的多实例 LLM 服务框架，支持大规模模型部署与推理调度优化。

• Stars: ⭐️ 546
• Tags: llm-serving inference ray multi-instance
• 最后活动时间: 2026-03-12

model-runner

Docker官方推出的模型运行工具，支持在Docker容器中快速部署和运行AI大语言模型，简化本地AI开发流程。

• Stars: ⭐️ 545
• Tags: docker llm model-serving inference
• 最后活动时间: 2026-04-17

jpmml-sklearn

将Scikit-Learn机器学习流水线转换为PMML格式的Java库，便于模型部署与跨平台迁移。

• Stars: ⭐️ 540
• Tags: pmml scikit-learn model-deployment machine-learning
• 最后活动时间: 2026-04-05

llama-cpp-rs

llama.cpp 的 Rust 语言绑定，提供高效的本地 LLM 推理能力。

• Stars: ⭐️ 539
• Tags: llm rust inference llama-cpp
• 最后活动时间: 2026-04-19

lineax

基于JAX和Equinox的线性求解器库，为深度学习提供高效的线性代数运算支持。

• Stars: ⭐️ 539
• Tags: jax linear-algebra equinox solver
• 最后活动时间: 2026-04-05

Awesome-DiT-Inference

Diffusion Transformer推理优化论文与代码合集，涵盖采样加速、量化、并行计算等核心技术。

• Stars: ⭐️ 538
• Tags: DiT 推理优化 量化 Diffusion
• 最后活动时间: 2026-03-19

KuiperLLama

从零实现的大模型推理框架，支持Llama2/3和Qwen2.5，适合学习推理引擎架构与CUDA加速。

• Stars: ⭐️ 531
• Tags: inference-engine llm cuda cpp llama
• 最后活动时间: 2025-10-28

traceml

Polyaxon的ML追踪与可视化引擎，支持数据漂移检测、模型可解释性分析和交互式仪表盘。

• Stars: ⭐️ 530
• Tags: MLOps Visualization Drift Detection
• 最后活动时间: 2026-04-13

TensorLayerX

跨平台统一深度学习框架，支持PyTorch、TensorFlow、MindSpore等多后端。

• Stars: ⭐️ 528
• Tags: deep-learning cross-platform pytorch tensorflow paddlepaddle
• 最后活动时间: 2026-01-23

aikit

开源大模型微调、构建和部署的一站式工具，支持Docker和Kubernetes环境下的LLM服务化。

• Stars: ⭐️ 516
• Tags: LLM Deployment Docker
• 最后活动时间: 2026-04-13

skops

HuggingFace出品的Python库，帮助分享和部署scikit-learn机器学习模型。

• Stars: ⭐️ 513
• Tags: MLOps scikit-learn Deployment
• 最后活动时间: 2026-04-17

popmon

Pandas和Spark数据框稳定性监控工具，支持数据漂移检测和统计过程控制。

• Stars: ⭐️ 511
• Tags: Data Monitoring Drift Detection Spark
• 最后活动时间: 2026-01-09

model_analyzer

Triton推理服务器模型分析工具，帮助理解模型的计算和内存需求。

• Stars: ⭐️ 509
• Tags: inference gpu performance-analysis deep-learning
• 最后活动时间: 2026-04-18

FAST

高性能医学图像处理与神经网络推理可视化框架，支持GPU加速和流式处理。

• Stars: ⭐️ 508
• Tags: Medical Imaging Deep Learning Inference Visualization
• 最后活动时间: 2026-04-09

crater

云原生 AI 训练与推理平台，支持 Kubernetes 部署，集成 PyTorch、TensorFlow、vLLM 等主流框架。

• Stars: ⭐️ 506
• Tags: kubernetes ai-training inference pytorch vllm ray
• 最后活动时间: 2026-04-16

MCPSpy

基于eBPF的MCP协议监控工具，用于AI安全与可观测性分析。

• Stars: ⭐️ 505
• Tags: mcp monitoring ebpf ai-security
• 最后活动时间: 2026-01-16

streamlit-fastapi-model-serving

使用Streamlit和FastAPI构建PyTorch模型服务Web应用的示例项目。

• Stars: ⭐️ 503
• Tags: pytorch fastapi streamlit model-serving docker
• 最后活动时间: 2026-03-27

claude-code-mux

高性能Rust构建的AI路由代理，支持15+提供商的自动故障转移和优先级路由。

• Stars: ⭐️ 502
• Tags: ai-proxy rust multi-provider
• 最后活动时间: 2025-11-19

melior

Rust语言的MLIR绑定库，为机器学习编译器基础设施提供原生支持，适用于构建高性能AI模型优化工具。

• Stars: ⭐️ 502
• Tags: mlir llvm rust compiler
• 最后活动时间: 2026-04-15

flash-tokenizer

高效优化的LLM推理分词器引擎，基于C++实现，支持BERT和WordPiece分词。

• Stars: ⭐️ 458
• Tags: Tokenizer LLM Inference
• 最后活动时间: 2026-02-02

SDKs & APIs

Omega-AI

基于Java的深度学习框架，支持自动求导、多线程与GPU运算(CUDA/CUDNN)，可快速搭建神经网络。

• Stars: ⭐️ 502
• Tags: deeplearning neural-network java cuda ai
• 最后活动时间: 2026-04-16

未分类 (Others)

phoenix

开源AI可观测性平台，支持LLM应用追踪、实验评估和性能监控，帮助开发者调试和优化AI系统。

• Stars: ⭐️ 9.3k
• Tags: LLMOps Observability Evaluation
• 最后活动时间: 2026-04-18

sacred

机器学习实验配置、组织、日志记录与复现工具，助力可重复科学研究。

• Stars: ⭐️ 4.4k
• Tags: machine-learning reproducibility experiment-tracking python
• 最后活动时间: 2025-10-22

fann

快速人工神经网络库，用C语言实现的轻量级神经网络框架，适合嵌入式系统和实时应用。

• Stars: ⭐️ 1.7k
• Tags: neural-network machine-learning c embedded
• 最后活动时间: 2026-01-28

ml-compiler-opt

LLVM机器学习引导优化基础设施，利用ML技术提升编译器优化效果。

• Stars: ⭐️ 768
• Tags: llvm compiler-optimization machine-learning
• 最后活动时间: 2026-04-08

xprof

专为机器学习设计的性能分析与调优工具，帮助开发者优化ML模型的运行效率和资源利用率。

• Stars: ⭐️ 500
• Tags: profiling machine-learning performance-analysis
• 最后活动时间: 2026-04-18