稀疏 MoE(Mixture of Experts)在部分网络层设置多个专家模块,由路由器为当前输入选择其中一部分。它让总参数容量和单次激活参数量可以不同,但不能据此直接推导实际延迟、显存需求或服务价格。
专家是在模型内部选择的
以 Mixtral 8x7B 论文描述的架构为例,每层包含多个前馈专家,路由按 Token 选择两个专家并组合输出。不同 Token 的选择可以不同。这个说明限定于该论文模型,其他 MoE 的专家数量、路由算法和共享模块可能不同。
“专家”通常指模型中的子网络,不是 Java 服务中的一个远程大模型账号。把问题分别发送给两个厂商,再合并回答,是应用层编排;它与模型内部的 MoE 机制不同。
用 Java 演示 Top-k 路由计算
给定四个分数,选出最大的两个,然后只在选中的两个分数上计算归一化指数权重。这是教学用的路由变体;分数直接写死,没有训练路由器,也没有专家网络计算。
package site;
import java.util.Comparator;
import java.util.List;
import java.util.stream.IntStream;
/** Toy routing arithmetic with supplied logits, not a trained MoE model. */
public final class TopKRouter {
public record Route(int expert, double weight) {}
public static List<Route> select(double[] logits, int k) {
if (k <= 0 || k > logits.length) throw new IllegalArgumentException("Invalid k");
for (double value : logits) {
if (!Double.isFinite(value)) throw new IllegalArgumentException("Non-finite logit");
}
var chosen = IntStream.range(0, logits.length).boxed()
.sorted(Comparator.<Integer>comparingDouble(i -> logits[i]).reversed()
.thenComparingInt(i -> i)).limit(k).toList();
double max = logits[chosen.getFirst()];
double sum = chosen.stream().mapToDouble(i -> Math.exp(logits[i] - max)).sum();
return chosen.stream().map(i -> new Route(i, Math.exp(logits[i] - max) / sum)).toList();
}
public static void main(String[] args) {
select(new double[]{1, 3, 2, 0}, 2).forEach(r ->
System.out.printf(java.util.Locale.ROOT, "expert=%d weight=%.4f%n", r.expert(), r.weight()));
}
}
实验选中编号 1 和 2。减去最大分数后再求指数,避免直接对大分数求指数造成溢出;并列时按编号决定顺序,便于复现。实际模型可能先对全部专家做归一化,也可能使用不同门控规则,不应把这段代码当成 Mixtral 的完整实现。
下载完整示例工程,解压进入 core 目录,使用 JDK 21 和 Maven 3.9.9 运行:
mvn package dependency:copy-dependencies -DincludeScope=runtime
java -cp 'target/classes:target/dependency/*' site.TopKRouter
首次构建需要下载公开依赖。命令使用 macOS/Linux 类路径分隔符;Windows 未在本轮验证。 本轮容器运行输出:
expert=1 weight=0.7311
expert=2 weight=0.2689
权重约为 0.7311 和 0.2689,相加为 1。改成并列分数时会稳定选取较小编号;空选择、越界的 k 和非有限分数会被拒绝。
总参数和部署成本不能画等号
每次只激活部分专家,仍可能需要加载多个专家的权重,并产生路由、通信和内存访问开销。总参数多不意味着每个 Token 都执行全部参数,激活参数少也不等于显存或延迟按相同比例减少。
选型时应分别看任务质量、实际硬件、并发、吞吐和费用。本轮只运行上述算术实验,没有加载 Mixtral 权重、训练模型或测量推理性能。