• 1
• 0
• 16

bigpower521/Tencent-Hunyuan-Large forked from 腾讯开源/Tencent-Hunyuan-Large

随着模型规模的扩大，如何在保持高性能的同时优化资源消耗成为一个关键挑战。为了应对这一挑战，我们研究了混合专家（MoE）模型，当前亮相的Hunyuan-Large（Hunyuan-MoE-A50B）模型，这是目前业界待开源的基于Transformer的最大MoE模型，拥有3890亿总参数和520亿激活参数。

• 1
• 0
• 1

bigpower521/tge forked from 星辉/tge