如何为人工智能项目选择定制的LLM

挑选模型时应注意的问题

以下是挑选机型时需要回答的问题清单：

• 我可以使用基于云的LLM ，还是需要自己托管一个？
• 我需要多快的回复速度？
• 我需要多精确的回复？
• 我的项目能节省和/或产生多少美元？然后，它应该低于多少价格？
• 我需要多长的回复？

一般来说，要加快功能强大的模型的速度或降低其成本比较困难，而改进精度较低的模型则比较容易。 

不过，使用功能强大的模型上手要快得多，而且如果它能满足你的项目需求，你可能不需要投入那么多的工程精力（另外，它也更容易维护）。

从模型开始

首先要做的是选择一个起始机型。网上有很多比较不同车型的排行榜。

例如

• Hugging Face 维护着一个开源模型排行榜。
• Vellum为更受欢迎的机型提供了一款出色的产品。

如果贵公司有内部模型，可以考虑使用它来满足预算要求，并保证数据的私密性。如果您需要自己托管模型，请考虑使用开源模型。

微调 

微调包括向模型提供示例，让它学会如何出色地完成某项任务。如果您想让模型在谈论您的产品时表现出色，您可以提供大量贵公司最出色的销售电话实例。

如果模型是开源的，请自问您的团队是否有足够的工程能力对模型进行微调。

如果模型是闭源的，并以服务形式提供（GPT-4 或 Claude），那么您通常可以让工程师使用 API 对定制模型进行微调。通过这种方法，价格通常会大幅提高，但几乎不需要维护。 

但对于许多用例来说，微调并不是优化模型的第一步。 

为静态知识构建知识机器人就是一个很好的微调案例。通过提供问题和答案的示例，它应该能够在未来回答这些问题，而无需查找答案。但对于实时信息来说，这并不是一个实用的解决方案。 

检索增强生成

RAG是我们在ChatGPT 中都做过的一件简单事情的别称：在ChatGPT 中粘贴一些文本，然后提出相关问题。 

一个典型的例子是，询问电子商务网站上的某种产品是否有库存，聊天机器人会在产品目录（而不是更广泛的互联网）中查找相关信息。 

就开发速度和获取实时信息而言，RAG 是必备工具。 

这通常并不影响您选择哪种模型，但是没有什么能阻止您创建一个LLM API 端点来查询信息和回答问题，并将该端点当作自己的LLM 来使用。 

在基于知识的聊天机器人中使用 RAG 通常更易于维护，因为您不需要对模型进行微调和不断更新，这还可以降低成本。

N 次学习 

开始提高响应质量的最快方法是在单个LLM API 调用中提供示例。 

我们大多数人都使用ChatGPT 。添加一个示例（或一个镜头）通常就足以使回复质量得到大幅提高。 

一个以上的示例被视为 N-shot。N-shot不会改变模型，这与微调不同。你只是在要求回答之前举例而已，每次提问都是如此。 

但这一策略不能过度使用：LLM 模型有最大上下文大小，并根据信息大小定价。微调可以消除对 n 个示例的需求，但需要更多时间才能做到正确。 

其他快速工程技术

还有其他一些提示工程技术，比如思维链，它可以迫使模型在得出答案之前大声思考。 

这样可以提高响应质量，但代价是响应的长度、成本和速度。 

我的建议

虽然每个项目都有其独特的需求，但我还是要就一种强有力的方法提出自己的看法。 

一个好的开始是使用兼顾速度和质量的现成模型，如GPT-4o Mini。首先查看响应质量、响应速度、成本、背景窗口需求，然后决定需要改进的地方。 

然后，在使用范围较窄的情况下，可以尝试一些简单的提示工程，接着是 RAG，最后是微调。每一个经过上述过程的模型都会有性能提升，因此要确定使用什么可能会很棘手。

卸载工程设计，节省资金

要使项目成为现实，精打细算至关重要。其中一种方法就是通过解耦需求来缩短工程时间。 

如今，我们可以使用 Flutterflow、Shopify 等低代码解决方案，产品经理等传统的非技术角色也可以使用这些解决方案。聊天机器人也不例外，有些人工智能自动化平台甚至允许你使用自己的LLM。 

您可以指示工程师专注于托管LLM 和设置自动化平台。这样，业务分析师、产品经理和其他相关人员就能腾出时间来构建满足业务需求的人工智能代理。 

当需要额外功能时，这些平台一般都有办法让工程师添加一些代码。这样，您既能保持定制模型的优势，又能获得灵活性、速度和经济性。

为解决业务问题提供工程自由

另一方面，有时业务问题很难解决。 

我们谈论的是完全网络连接的LLM 应用程序、设备上的应用程序，或者需要赋予聊天机器人极其先进的功能的项目，这些功能不仅仅是在两个平台之间同步数据。 

在这种情况下，允许工程师自由使用他们最擅长的工具是合理的。这通常只是编写代码，而利益相关者只是充当项目经理的角色。

1.如何评估为企业投资定制LLM 的投资回报率？

To evaluate the ROI of investing in a custom LLM for your business, compare total costs (e.g., infrastructure, developer time, fine-tuning, and hosting) against measurable gains like labor reduction and conversion lift. 

2.我应该跟踪哪些关键绩效指标来衡量定制LLM 的效果？

You should track KPIs such as response accuracy (precision/recall or task completion), latency (average response time), user satisfaction (CSAT/NPS), containment or resolution rate, and cost per interaction. These metrics reflect the technical performance of the model and its impact on business outcomes.

3.如何估算定制LLM 解决方案的长期维护成本？

To estimate long-term maintenance costs for a custom LLM solution, include expenses for infrastructure (cloud compute, storage), engineering updates, retraining or fine-tuning frequency, monitoring tools, and adapting to regulatory changes. If your business data evolves rapidly, expect higher retraining and validation overhead over time.

4.如何为特定行业或领域的不同LLMs 基准？

Benchmark different LLMs by testing them with representative, domain-specific prompts and comparing their performance on accuracy, clarity, tone, and task relevance. You can use internal datasets or apply open-source industry benchmarks like FinancialQA or MedQA depending on your sector.

5.如果要处理用户数据，定制LLM 应符合哪些合规标准？

If you’re handling user data, your custom LLM should meet standards like GDPR (for EU data privacy), SOC 2 Type II (for operational security), and HIPAA (if handling healthcare data). The LLM provider should offer features like role-based access, data encryption in transit and at rest, audit logging, and clear policies for data retention and deletion.