Hello folks，我是 Luga，今天我们来聊一下人工智能(AI)生态领域相关的技术 – LLM -常见的本地运行 LLM 方法。
众所周知，如今使用 ChatGPT
等大型模型工具变得异常简单，只需通过浏览器在线访问即可。然而，需要注意的是，这种方式可能对我们的隐私和数据造成一些潜在影响，这一点需要格外小心。像主流的
OpenAI
等平台会存储我们所构建的提示、响应以及其他元数据，以便重新训练模型。虽然对于某些人来说这并不构成问题，但注重隐私的人往往更倾向于在本地使用这些模型，以确保在交互过程中没有任何外部跟踪的情况下保护隐私。
在本文中，我们将探讨常见的三种在本地使用 LLM 的方法。大多数软件都与各种主要操作系统兼容，并且可以轻松下载和安装，以供大家直接上手。
Ollama
作为一个开源平台，Ollama 使我们能够在本地计算机上直接运行 Llama 3、Mistral 和 Gemma
等大型语言模型(LLM)。这意味着我们可以充分利用这些人工智能模型的强大功能，而无需依赖基于云的服务。通过使用
Ollama，我们可以在本地进行各种任务，获得高效而便捷的体验。
不论是自然语言处理、文本生成还是其他应用领域，我们都可以在掌握自己的数据和隐私的同时，充分发挥 LLM
的潜力。不再受制于云端服务的限制，我们可以灵活地定制和配置模型，以满足特定需求，并在本地环境中获得更高的性能和效率。这为我们提供了更大的控制权和灵活性，同时降低了对外部云端服务的依赖。
基于
Ollama，我们可以拓展我们的研究和开发能力，探索更广泛的应用场景，并且在保护数据隐私方面更加安心。我们可以在本地环境中充分利用这些强大的语言模型，解决复杂的问题，推动创新的进展。总之，Ollama
为我们提供了一个强大且可靠的方式，让我们能够本地运行 LLM，释放出其全部潜力。
这里，我们以 Mac 平台为例，简单地部署运行 Llama 3 大模型，具体可参考如下步骤所示：
[lugalee@Labs ~ ]% docker pull ollama/ollama
Using default tag: latest
latest: Pulling from ollama/ollama
d5a2ad729c09: Pull complete
e917c61587da: Pull complete
57bc2d1a456b: Downloading [==================> ] 104.2MB/277.6MB
...
Status: Downloaded newer image for ollama/ollama:latest
docker.io/ollama/ollama:latest
[lugalee@Labs ~ ]% docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
cef2b5f8510c1f995b6500e79052dd141ce03649f2137c6d8c6bdef04ff3c6da
[lugalee@Labs ~ ]% docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
cef2b5f8510c ollama/ollama "/bin/ollama serve" 6 seconds ago Up 5 seconds 0.0.0.0:11434->11434/tcp, :::11434->11434/tcp ollama