☁️ 基础设施与部署 (Infrastructure & Deployment)

模型推理引擎（如vLLM, Ollama）、MLOps工具、GPU调度系统与高性能内核。

netdata

开源的实时监控与可观测性平台，集成AI驱动的异常检测和智能告警功能。支持容器、Kubernetes和各类数据库的一键部署监控。

vLLM是一个高吞吐量且内存高效的LLM推理和服务引擎，采用PagedAttention技术显著优化显存利用率。广泛应用于生产环境的大模型部署，支持多种主流模型架构和硬件平台。

免费开源的 OpenAI API 替代方案，支持本地部署、无需 GPU，可在消费级硬件上运行。兼容 OpenAI API，支持文本生成、图像生成、语音克隆等多种 AI 功能。

轻量级 vLLM 实现，专注于大语言模型的高效推理。适合学习 vLLM 架构和轻量级部署场景。

开源的私有化GPT聊天工具，支持本地部署和多种文档格式处理。100%隐私保护，支持oLLaMa、Mixtral等多种LLM后端。

隐私优先的AI会议助手，支持Parakeet/Whisper实时转录和Ollama本地总结，100%本地处理无需云端。

由LinkedIn开源的高效Triton内核库，专为LLM训练优化设计。支持Llama、Mistral、Gemma等主流大模型，显著提升训练效率。

一款超快的数据处理工具包，支持CSV、Excel、Parquet等多种格式的数据清洗与转换。专为数据工程师设计，大幅提升数据预处理效率。

Hugging Face 官方推出的硬件优化工具包，可加速 Transformers、Diffusers 等模型的推理与训练。支持 ONNX、量化及多种硬件后端优化。

一款AI驱动的漏洞扫描与渗透测试工具，集成OpenAI、Grok、OLLAMA、Claude等多种AI模型，支持自动化漏洞挖掘、智能载荷生成和专业报告输出。

基于MCP协议的逆向工程助手，支持Ghidra和Binary Ninja等工具。让LLM辅助分析二进制文件，提升安全研究效率。