腾讯开源Hy4 preview：770B MoE、49B激活参数与百万Token上下文

混元把规模继续推向长程生产任务

Hy4 preview采用混合专家架构，总参数770B、每Token激活49B，上下文长度超过100万Token。腾讯将重点从通用对话转向代码、办公和科研任务，并把模型接入WorkBuddy、CodeBuddy、元宝、ima与腾讯云TokenHub。

产品接入提供了真实反馈回路

模型先以preview发布，再利用实际工作流中的失败样本迭代正式版。代码仓库修改、长文档处理和科研计算比单轮问答更容易暴露目标遗忘、工具调用错误与中间状态丢失，这类数据对后训练具有价值。

部署方应关注49B激活背后的通信

MoE只计算部分专家，但全部权重仍需存储，专家路由还会产生跨卡流量。自建部署需要核对开源权重许可、量化格式、推理框架支持、专家并行拓扑和KV缓存容量。百万Token窗口应按请求长度分级开放，否则少量超长任务可能占据大量缓存并拖慢普通用户。