震憾！马斯克一边宣传 AI 灭亡论，一边却为开源界带来了希望的火种，大模型 Grok-1 开源了！
Grok-1 采用 Apache2.0 宽松协议，完全开源可商用，Grok-1 的开源模式打破了传统的商业壁垒，让更多人能够参与到 AI 的发展中来。这无疑是开源界的一场革命！这到底是怎样的黑科技？让我们一起来揭开它神秘的面纱吧！
Grok-1生成提示词后由Midjourney生成的3D神经网络图
Grok-1 的参数的数量达到了惊人的 3140 亿，如此庞大的参数数量意味着它能够处理更加复杂的任务，提供更加准确和全面的结果。其中25%的参数能够针对特定的数据单元（Token）激活，远远高于GPT3.5模型参数大小（一般认为是1750亿）。Grok-1的活跃参数高达 860 亿，完整运行它大约需要 5 台 H100。这种创新的架构设计使得模型能够更加高效地处理各种复杂任务。在各个测试集中呈现的效果 Grok-1要比GPT-3.5、70b 的LLAMA2和Inflection-1要好。开源的预训练基础模型虽然没有经过微调，但这也为广大开发者提供了更多的可能性和发挥空间。
不仅如此，Grok-1 的知识截止日期为 2023 年 10 月，它拥有最新的知识和信息。而且，它的上下文窗口达到了 8912 个 tokens，大约相当于 4000 个汉字，能够处理更长更复杂的文本，为用户提供更深入的理解和分析。
Grok-1 的 8 名混合专家架构（MoE），每次输入激活两名专家的机制，就像是一场精准的接力赛，让模型的表现更加出色。
Grok-1 的发布无疑将推动人工智能技术的发展，不仅为商业应用打开了大门，更是对OpenAI 的有力回应。这不仅是对OpenAI的挑战，也是对整个开源界的推动。
关注我们
