春节假期看了一本书《AI工程》，记录一下。

整本书其实介绍了如何落地AI应用，没有代码，就讲一些实践和方法，包含落地AI应用的各个方面，挺不错的。

毕竟大部分公司都不会去搞基础模型，极少数公司会去对模型进行微调，大部分公司还是会选择基于基础模型搞应用，提升自己的业务的效率。

顺便摘录一张图，包含了落地AI应用的各个模块：

稍微解释一下：

  • 不管是RAG还是Agent，其实都是在为大模型准备上下文，让大模型能够更好地理解和处理问题。
  • 在大模型处理前的路由还是很有必要的，可以做一些意图识别，如果根本不是自己业务范围内的问题，可以直接拒绝。这个路由可以由内部小模型来承担。
  • 输入输出的防护也是很有必要的，可以防止公司的敏感信息泄露，同时也不要让缓存里有敏感信息。
  • 缓存可以分两种，精确缓存和语义缓存。
  • 最终输出的结果可以由Agent完成一些写入动作，不过一定要控制好权限和范围。