Reka Flash 3

Reka Flash 3是什么

Reka Flash 3 是 Reka AI 推出的一款开源推理模型，包含 21 亿个参数。该模型支持多模态输入，包括文本、图像、视频和音频，并可处理最多 32k 个令牌的上下文长度，适用于日常对话、编码辅助、指令执行等多种场景。其全精度版本大小为 39GB（fp16），在 4 位量化后可压缩至 11GB，便于在本地设备上部署。

Reka Flash 3的主要功能

• 多模态输入支持：Reka Flash 3 可处理多种类型的数据，包括文本、图像、视频和音频。
• 高效推理能力：该模型支持高达 32k 个令牌的上下文长度，能够处理长文档、复杂任务及多步骤问题。
• 多语言支持：Reka Flash 3 在多语言任务中表现优异，尤其在英语领域，WMT’23 的 COMET 得分为 83.2。

Reka Flash 3的技术原理

• 模块化的编码器-解码器架构：Reka Flash 3 采用模块化设计，编码器处理多种输入数据并将其转换为高维向量表示，解码器则基于这些向量生成文本输出。
• 强化学习训练：通过结合公开数据与合成数据，利用 REINFORCE Leave One-Out（RLOO）方法进行训练，使模型在性能与效率之间取得平衡。
• 预算强制机制：通过 <reasoning> 标签，用户可以控制模型的推理步骤，确保在有限资源下保持稳定表现。

Reka Flash 3的项目地址

• HuggingFace模型库：https://huggingface.co/RekaAI/reka-flash-3

Reka Flash 3的应用场景

• 一般对话：Reka Flash 3 可用于自然流畅的对话交互，提供信息查询、陪伴等服务。
• 编码辅助：模型可帮助开发者编写和调试代码，提供优化建议。
• 指令跟随：Reka Flash 3 能理解并执行复杂指令，完成如报告生成、数据分析等任务。
• 网络搜索辅助：该模型可调用网络搜索功能，以获取额外信息来增强回答质量。