文章要点

- 迄今为止，人们的注意力主要集中在AI堆栈的底层，包括OpenAI和Anthropic等知名AI实验室，以及Nvidia等硬件制造商。

- 对这些底层的关注和资本投入，掩盖了应用层积累的潜在潜力。

- 未来几个月，随着应用层实验的不断增长，开发者将AI模型集成到应用程序中时可能会发现，使用相对较小的模型（可能具有非常特定或专门的功能）会带来更易于管理和灵活的AI系统。

- 小型AI模型的使用对AI与加密堆栈中的许多领域都有积极影响，包括去中心化训练、本地推理以及数据集收集和创建。

回到2022年底，世界首次体验到了OpenAI的chatGPT所蕴含的神奇特性。最初的实验大多遵循了新兴但具有变革性技术的典型模式——主要被当作一种有趣的玩具来使用和理解。

快进到今天，chatGPT引发的火花已经演变成一场全面的军备竞赛，旨在积累巨额资金，以开发第一个人工通用智能（AGI）。为了实现这一终极目标，所有人的目光都聚焦在大型AI实验室（如OpenAI和Anthropic）和硬件制造商（如Nvidia）身上，以开发下一个万亿参数的前沿模型。

AI实验室和硬件公司代表了AI堆栈的底层。这些层级共同构成了AI代理、应用程序和系统的基础。对这些底层的关注和资本投入，掩盖了应用层正在酝酿的潜在潜力。正如相对简单的AI代理chatGPT所展示的那样，当这些模型与其他软件系统集成，形成一个连贯的产品时，它们的真正魔力才会显现。

更广泛地说，将纯AI模型与工具、编排软件、业务逻辑甚至其他AI模型结合起来，可以形成一个AI系统或复合AI系统，正如伯克利AI研究小组所指出，这些系统可以实现单一AI模型无法单独实现的令人震惊的结果。

随着越来越多的开发者尝试将AI模型集成到他们的应用程序中，较小的模型（可能具有非常特定或专门的功能）可能会带来更易于管理和灵活的AI系统。仅成本节约这一项就足以成为探索使用较小模型的有力理由——使用OpenAI较大的GPT-4o模型的成本是其GPT-4o迷你模型的约30倍。

在一个小型模型使用不断增加的世界中，可能会对去中心化模型训练、本地化推理和数据收集激励产生积极的二阶效应，这些都是AI与加密堆栈中许多团队关注的领域。

AI系统与小型模型

向上述AI系统的转变是独立AI模型使用的自然演进。一般来说，AI模型本身并不是最终用户所需的产品，而是整个软件系统（即AI应用程序）创造了价值。

与典型的应用程序开发一样，将AI模型或多个模型与业务逻辑和必要工具打包在一起，需要深思熟虑的设计，并可能需要多次测试、迭代和部署。从架构角度来看，更小、更专业的模型可能更具优势。

小型AI模型的优势

迄今为止，大型语言模型（LLMs）的扩展法则仍然成立。增加模型的整体规模，以及计算预算和训练数据集的规模，通常会生成性能更好或更“智能”的模型。然而，这些越来越大的模型在性能上的提升，相对于较小的模型来说，也伴随着一些权衡。

模型训练与推理的权衡

较小的模型可以比前沿LLMs更快地训练，并且计算预算更少。例如，在扩展范围的远端，Meta的Llama 3.1模型集利用了庞大的训练数据集（超过15万亿个token）和复杂的Nvidia H100 GPU集群。训练最大的模型可能花费了几周甚至几个月的时间，该模型使用了Meta的16,000个H100集群。另一方面，较小的模型可以用更少的GPU在更短的时间内用更少的数据进行训练。作为一个专注于快速发布和迭代不同产品设计的应用程序开发者，较小的模型是一个引人注目的选择，因为它们在应用程序中的范围较窄，不需要广泛的通用智能。

推理模型实际上是在模型训练并集成到应用程序后对其进行查询。模型的响应时间（称为延迟）是AI应用程序在生产环境中服务真实用户请求时的关键指标。尽可能低的延迟通常会带来更好的整体用户体验。想象一下，如果chatGPT需要几分钟甚至几十秒来响应每个查询，用户体验会有多差。由于较小的模型需要的总体计算量较少，因此它可以比大型模型更快地处理推理请求。

总的来说，这些设计决策塑造了应用程序开发者必须权衡的空间。在能提供满足应用程序要求的性能（在延迟和成本方面）时，AI 模型可以小到什么程度）？

从历史上看，开发者寻求显著性能提升的最佳选择是等待下一代大型前沿AI模型的发布。这些越来越大的模型确实带来了更多的能力，但也伴随着计算资源和延迟成本的增加。对于许多人来说，依赖这些庞大的模型似乎是实现预期应用用户体验的唯一可行路径。然而，从效率的角度来看，这种方法实际上是一种过度设计，因为并非所有应用程序都需要这些超大模型的全部能力，导致模型的能力与应用程序的实际需求不匹配。

如今，情况正在发生变化。较小的AI模型已经变得足够强大，可以在实际生产环境中部署。当这些模型与复杂的业务逻辑和技术（如工具使用、函数调用、检索增强生成（RAG）系统、微调，甚至其他较小的AI模型）结合时，这些AI系统可以产生与利用大型模型相媲美甚至超越其结果的效果。

对AI与加密的影响

将较小的AI模型引入AI系统和应用程序，对AI与加密堆栈中的多个垂直领域产生了积极影响，包括去中心化训练、本地推理和激励数据收集。

去中心化和分布式训练

最近在去中心化和分布式训练方面的突破，使这一概念进入了主流AI的视野。Prime Intellect和Nous Research都展示了使用不同技术在地理分布的计算机集群上训练AI模型的可行性。在这些最新成果之前，去中心化训练在很大程度上被认为在实际和经济上都是不可行的。

尽管初步结果令人印象深刻，但还需要更多的研究和工程工作来扩展这些训练方法，以创建与OpenAI和Anthropic等AI实验室从纯模型规模角度（例如万亿参数模型）生产的模型相当的模型。

然而，那些利用较小模型（Prime Intellect和Nous都在数十亿参数的模型上进行了实验）的人，一旦将这些新的分布式训练方法集成到他们的系统中，就可以利用Gensyn和Prime Intellect等去中心化训练协议。

本地推理

大多数使用较新的生成AI模型（无论是文本、图像还是视频）的用户，都是通过托管服务与它们交互的。例如，与现有的传统云架构类似，OpenAI有效地托管和运行chatGPT应用程序，并为开发者提供API端点以集成他们的模型集。

托管服务为用户提供的便利性难以言表。然而，它也有一些缺点：

• 黑箱模型——你今天使用的模型明天可能就不一样了。从用户的角度来看，它是一个黑箱——服务提供商可以在用户不知情的情况下切换模型。这可能导致意外行为，或者用低质量模型替换高质量模型，尽管用户支付了高质量模型的费用。

• 隐私——运行服务的实体可以查看通过模型传递的所有数据。这剥夺了用户保持查询私密性的能力。

  
  

Exo Labs团队正在通过创建一个易于使用的SDK来解决这些问题，该SDK使用户能够在本地设备（如笔记本电脑或智能手机）上运行开源模型。通常，像手机这样的本地边缘设备缺乏运行计算密集型软件（如AI模型）所需的硬件。Exo Labs SDK帮助将多个设备连接在一起，使它们作为一个更强大的硬件运行。从加密的角度来看，本地模型可以配置为触发链上智能合约操作。

虽然它仍然无法与最强大的GPU相媲美，但这种类型的软件确实使用户能够在自己的设备上运行较小的开源模型。对于简单的AI应用程序（如chatGPT等聊天机器人），在本地运行这些模型可以消除上述黑箱和隐私问题。

训练数据激励与创新

数据是塑造AI模型个性或一般行为的核心要素。

例如，像Dippy这个项目，它正在创建一个类似于character.ai的AI伴侣应用程序。Dippy Bittensor子网激励角色扮演LLMs的创建，然后进一步集成到应用程序中。EQ基准是确定角色扮演LLM质量的关键指标之一。它有效地尝试衡量模型的情商，这对于AI伴侣来说显然很重要。通过在用于衡量EQ基准的数据集上进行创新，Dippy团队的表现优于Meta和OpenAI生产的类似规模模型（约70-80亿参数）。

大体上来说，利用加密系统（如Bittensor）来激励收集和创建特定数据集是一个新兴且不断增长的模式。除了Dippy的子网外，Macrocosmos的子网13专注于从各种来源抓取数据。未来，该子网的自然扩展将是使任何人都能以按需方式引导子网的资源来抓取或获取数据。对于那些依赖非常特定数据集的较小、更专业的模型来说，这可能是一个有吸引力的选择，加密激励机制在该子网的运作中起着至关重要的作用。

最后思考

毫无疑问，下一代前沿模型（如GPT-5）和高性能计算芯片的发布将继续吸引大众的关注（这是理所当然的）。但是，正如许多人对chatGPT的体验一样，当这些模型巧妙地集成到应用程序或产品中时，它们的真正影响才会显现。

随着开发者超越简单的聊天机器人式AI应用程序，嵌入这些系统中的较小模型提供了一个引人注目的选择。它们不仅通常比大型模型更具成本效益，而且可以作为模块化软件，使整体产品更加灵活。去中心化训练和计算协议、本地推理项目的开发者以及数据集收集协议都可以从这些较小模型的日益普及中受益。

也许在未来的某个时候，某个AI实验室将成功创建AGI，从而消除使用“小型”模型的需求。在那之前，AI应用程序开发者将继续寻找以小博大的方法。