Qwen3.8-Max开源2.4万亿参数:本地部署与API调用指南
📢 广告位
千问Max首次开源:2.4万亿参数的国产旗舰落地
8月12日,阿里通义千问团队在魔搭ModelScope社区首次开源Qwen3.8-Max旗舰权重,这是千问Max级别模型第一次对外开源,意味着此前只能在DashScope API调用的旗舰能力,现在可以被任意组织下载、研究、二次微调甚至私有化部署。
Qwen3.8-Max总参数2.4万亿,采用MoE(Mixture of Experts)架构,每个Token仅激活95B参数(行业记法A95B)。同期8月14日开源的Qwen3.8-27B则走另一条路:原生多模态稠密Dense模型,面向本地轻量化部署,适合显存有限的开发者。
这次双版本开源的策略,本质是把"旗舰推理"和"端侧部署"两条线都开放给社区。Max负责撑能力上限,27B负责吃下中长尾的本地化需求,中间档留给DashScope API商业服务,形成完整的能力梯度。
MoE稀疏激活:A95B如何兼顾能力与算力
MoE的核心思想是"分而治之":模型被切分成若干专家(Expert),每个Token只路由到最匹配的少数专家参与计算。Qwen3.8-Max的2.4万亿参数被组织成细粒度专家池,每个Token激活95B,即只有约4%的参数在干活。
这种稀疏激活带来两个直接好处:推理算力消耗接近一个95B稠密模型,而知识容量却接近2.4万亿参数的稠密模型。对部署方而言,单次推理的显存占用和算力开销是可控的,不必为2.4万亿参数买单全程计算。
关键技术点在路由器(Router)的设计:Qwen3.8-Max采用top-k专家选择+负载均衡loss,避免专家塌缩到少数几个被频繁调用。微调时建议冻结Router参数,避免破坏原有路由分布导致能力下降。
魔搭社区下载部署:vLLM/SGLang全流程
部署Qwen3.8-Max需要从魔搭社区拉取权重:modelscope download --model Qwen/Qwen3.8-Max,镜像体积约4.8TB(BF16),建议预留至少6TB SSD。运行环境要求8张H200或A800-80G,显存不足可采用INT8/INT4量化降配到4卡。
推理引擎推荐vLLM或SGLang。vLLM启动命令示例:python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen3.8-Max --tensor-parallel-size 8 --max-model-len 256000 --trust-remote-code。SGLang在长上下文场景吞吐更高,适合256K以上超长文档处理。
部署后建议启用Prefix Caching和Chunked Prefill两项优化,实测可将首token延迟降低40%,长上下文批处理吞吐提升2倍以上。生产环境务必配置paged attention避免显存碎片导致OOM。
API调用方法:DashScope与本地推理双轨
不想自建集群的开发者,可直接走DashScope官方API:base_url为 https://dashscope.aliyuncs.com/compatible-mode/v1,model填"qwen-max-2026-08-12",兼容OpenAI Python SDK调用方式,只需替换api_key为在阿里云控制台生成的sk-xxx。
双轨方案是企业常见选择:线上高峰走DashScope API按量付费,离线批处理走自建vLLM集群摊薄成本。两者接口对齐,业务代码无需改造,只需在配置层切换base_url与model名。
与DeepSeek V4 Pro对比,Qwen3.8-Max在中文长文档理解和代码补全上略占优,DeepSeek V4 Pro在Agent多轮工具调用和Codex集成生态上更成熟。预算敏感且需要私有化部署选Qwen3.8-Max,需要快速接入Agent工作流选DeepSeek V4 Pro。
"开源的不是参数,而是把旗舰能力的钥匙交给社区——2.4万亿参数能在4%激活下跑起来,这才是MoE的意义。"
| 模型 | 总参数 | 激活参数 | 上下文 | 开源时间 | 适合场景 |
|---|---|---|---|---|---|
| Qwen3.8-Max | 2.4T(A2400B) | 95B | 256K | 8月12日 | 旗舰推理 |
| Qwen3.8-27B | 27B | 27B(稠密) | 128K | 8月14日 | 本地轻量 |
| DeepSeek V4 Pro | 未公开 | A95B档 | 1M | 已上线 | Agent工作流 |
| DashScope API | — | — | 跟随Max | 持续服务 | 免运维调用 |
📢 广告位
常见问题
Qwen3.8-Max是什么时候开源的?
Qwen3.8-Max旗舰权重于2026年8月12日在魔搭ModelScope社区首次开源,这是千问Max级别旗舰模型第一次对外开源。Qwen3.8-27B在8月14日跟进开源。
MoE的A95B是什么意思?
A95B表示每个Token激活95B参数。Qwen3.8-Max总参数2.4万亿,但每次推理只激活约4%的专家参数,既保留旗舰能力又控制算力开销,接近一个95B稠密模型的推理成本。
自建部署Qwen3.8-Max需要什么硬件?
满血BF16部署建议8张H200或A800-80G,镜像约4.8TB需预留6TB SSD。显存不足可采用INT8/INT4量化降到4卡,推理引擎推荐vLLM或SGLang。
不想自建集群怎么调用Qwen3.8-Max?
走DashScope官方API,base_url为https://dashscope.aliyuncs.com/compatible-mode/v1,model填qwen-max-2026-08-12,兼容OpenAI SDK,替换api_key即可。
Qwen3.8-Max和DeepSeek V4 Pro怎么选?
中文长文档理解和代码补全选Qwen3.8-Max且支持私有化部署;Agent多轮工具调用和Codex集成生态选DeepSeek V4 Pro。预算敏感、需要数据不出域选Qwen3.8-Max,需要快速接入Agent工作流选DeepSeek V4 Pro。
