Time

Time-MoE是一款基于混合专家（Mixture of Experts, MoE）架构的时间序列基础模型，通过扩展预训练模型参数规模至十亿级别，显著提升了计算效率并降低了成本。该模型采用稀疏激活机制，在预测任务中仅激活部分网络节点，从而实现高效的数据处理。Time-MoE支持任意长度的输入和输出范围，适用于从短期到长期的各种时序预测任务。此外，它在大规模数据集Time-300B上进行了预训练，该数据集包含超过3000亿个时间点，覆盖多个领域，确保了模型在多任务场景下的强大泛化能力。 Time-MoE的核心技术包括混合专家架构、自回归运行方式、点式分词与编码、多头自注意力及稀疏混合专家层等。这些技术共同构建了一个能够捕捉复杂时间依赖关系的高效模型。同时，模型在训练过程中采用了多任务学习策略，进一步增强了其泛化性能。