本地跑大模型这件事，一直有个残酷的门槛：千亿参数的模型，那是数据中心 A100 / H100 的专属玩具。普通人的游戏显卡，12GB 显存，装个 70B 的量化模型都费劲，更别提 125B 了。
今天五哥要给大家介绍的 Strata，把这个门槛直接踩碎了：它是一个 MIT 协议开源的本地推理引擎，专为一款模型打造——阿里 Qwen 团队 8 月开源的 Qwen3.8-Flash-Next（125B 主参数 MoE 模型）。Strata 让这张原本要靠服务器才能伺候的千亿模型，跑进了 12GB 显存的 RTX 5070，实测输出速度 94 tokens/秒。项目上线不到一个月，GitHub 星标已经冲到 31,000+，还登顶过 Hacker News 榜首。
一句话概括：一个开源推理引擎，把 125B 参数的 Qwen3.8-Flash-Next 塞进游戏 PC——12GB 显存 + 32GB 内存就能跑，全程本地、无遥测，还自带 OpenAI / Anthropic 兼容 API，Claude Code、Cursor 直接就能接上。
📌 Strata 是什么？
先说背景。Qwen3.8-Flash-Next 是 Qwen4 正式发布前的架构先导预览版：125B 主模型参数，外挂一张 51B 的 N-gram Embedding 查找表，每 token 只激活 6B 参数，原生 256K 上下文，YaRN 可拉到 1M。这种 MoE 稀疏架构对数据中心是好事，对个人用户却是灾难——整个模型文件接近 180GB，传统跑法显存直接爆表。
而 Strata 的聪明之处，正是盯着 MoE 的"稀疏"做文章：模型一共 24,576 个专家，每个 token 实际只会用到 10 个左右。于是它的分工方案是：
- 🖥️ 显存（VRAM）——只放高频使用的专家和核心层，12GB 就够；
- 🧠 内存（RAM）——完整的专家全集住在这里，按需热交换进显存；
- 💽 SSD——存放 N-gram 查找表等冷数据；
- ⚡ 投机解码——用轻量 draft 模型先猜下一个 token，大模型批量验证，速度直接翻着涨。
配合量化版本（Q2_0 到 Q8_0 全都有，社区由 ISTA-DASLab、Unsloth 等提供），硬件门槛从"专业级 GPU"直接降到"主流游戏 PC"。
✨ 实测有多快？
直接看官方在 RTX 5070（12GB 显存）+ Ryzen 5 7600 + 64GB 内存上的数据：
| 量化版本 | 生成速度 | 长文档读取 |
|---|---|---|
| Q2_0 | 94 tok/s | 2,650 tok/s |
| IQ2_XS | 79 tok/s | 2,090 tok/s |
| IQ3_XXS | 62 tok/s | 1,750 tok/s |
| IQ3_S | 53 tok/s | 1,620 tok/s |
其他配置也没落下：AMD RX 9070 XT（16GB）跑 Q2_0 达到 60 tok/s；24GB 的 RTX 3090 官方预估 100–140 tok/s；有社区用户在 RTX 5070 Ti 上调优后干出了 2,200 tok/s 的提示处理速度。读一份 32K 的长文档只要十几秒，后续对话秒级响应。
🖥️ 硬件要求和模型尺寸怎么选？
Strata 会根据你机器的 RAM + VRAM 总量自动推荐合适的模型版本：
| 内存合计（RAM+VRAM） | 推荐版本 | 体积 |
|---|---|---|
| 32 GB | Gyro-S 或 Coder | 约 27.6 GB |
| 40 GB | Swift 1.5 IQ2_XS / Gyro-M | 39.2 / 35 GB |
| 48 GB | IQ3_XXS | 47 GB |
| 64 GB | IQ3_S | 54.8 GB |
| 96 GB+ | UD-IQ4_XS 直至 Q8_0 | 93.7 GB 起 |
显卡支持面也很全：NVIDIA RTX 20/30/40/50 系列（≥12GB）、AMD RX 6800+、Intel Arc B 系列、Apple Silicon（M1 起，macOS 15+）、甚至 Ryzen AI Max 统一内存平台。Windows、Linux、macOS 三端通吃。存储方面预留约 80GB 空闲空间即可，模型下载 40–70GB。
⚙️ 安装和使用有多简单？
三种姿势任选：
- 📦 桌面应用——GitHub Releases 直接下安装包（.exe / .AppImage / .dmg），按显卡选 cuda13 / cuda12 / hip 版本，装完点开就能聊；
- ⌨️ 一行命令——Linux/macOS：
curl -fsSL https://strata.ai/install.sh | sh，Windows PowerShell：irm https://strata.ai/install.ps1 | iex，然后strata launch引导式启动； - 🤖 让 AI 装给自己——官方提供 docs/AI_SETUP.md，把说明丢给 Claude Code 或 Cursor，AI 自己把环境搭好。
启动之后它自带一个本地 Web 界面：聊天、GPU/内存监控、模型管理一应俱全，还内置 DuckDuckGo 搜索、图片识别、多模型并行、可配置的思考深度（off/low/medium/high）。最关键的是 API——本地 http://127.0.0.1:8080/v1 直接吐 OpenAI / Anthropic 兼容接口，Claude Code、Codex CLI、Cursor 这些编码 Agent 改个 base URL 就能用千亿模型干活，代码、长文档、隐私数据一个字节都不出本机。
常用命令也给你列好了：
strata launch # 引导式启动
strata launch --model q2_0 --yes --no-tui # 脚本化启动
strata launch --access lan # 局域网开放（自动生成 API key）
strata monitor # 监控速度与显存占用
strata doctor # 体检排障🎯 值不值得折腾？
五哥的结论很直接：如果你的机器有 32GB 以上内存 + 一张 12GB 显存的显卡，这是目前本地玩千亿模型性价比最高的方案，没有之一。
当然也别把话说满：2-bit 量化毕竟有损失，追求质量可以上 64GB 内存的 IQ3_S 甚至 96GB 的 4-bit 版本；首次启动完整载入需要一两分钟，机器会明显卡一下；另外模型下载动辄几十 GB，建议挂个稳定的网络环境。
但它代表的方向足够振奋——MoE 稀疏架构 + 专家分载 + 投机解码这套组合拳，把"本地跑千亿模型"从机房故事变成了游戏 PC 的日常。继 Ollama、llama.cpp 之后，大模型平民化又往前迈了一大步。
项目地址：