在不断发展的大型语言模型（LLMs）领域中，用于支持这些模型的工具和技术正以与模型本身一样快的速度进步。在这篇文章中，我们将总结5种搭建开源大语言模型服务的方法，每种都附带详细的操作步骤，以及各自的优缺点。
1、Anaconda + CPU
我们首先介绍门槛最低的入门级方法，因为这个方法不需要GPU，基本上只要有一个还不错的CPU和足够RAM就可以运行。
这里我们使用llama.cpp及其python绑定llama-cpp-python
pip install llama-cpp-python[server] \
--extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu