出品 | 51CTO技术栈（微信号：blog51cto）
像ChatGPT、Claude.ai和phind这样的聊天机器人非常有用，但可能并不总是希望的问题或敏感数据由外部应用程序处理。在平台上尤其如此，在这些平台上，你的互动可能会被人类审查，并以其他方式用于帮助训练未来的模型。
一种解决方案是下载一个大型语言模型（LLM）并在自己的机器上运行它。这样一来，外部公司就永远无法访问的数据。这也是尝试一些新专业模型的一个快速选择，如Meta最近宣布的Code Llama系列模型，这些模型经过了编码调整，以及Seamless M4T，旨在实现文本到语音和语言翻译。
运行自己的LLM听起来可能很复杂，但有了正确的工具，它会出奇地容易。而且许多型号的硬件要求并没有想象中那么疯狂。我已经在两个系统上测试了本文中提供的选项：一个是带有英特尔i9处理器、64GB RAM和英伟达GeForce 12GB GPU（可能没有参与运行该软件的大部分工作）的戴尔PC，另一个是只有16GB RAM的M1芯片的Mac。
请注意，可能需要一点研究才能找到一个在的任务中运行良好并在桌面硬件上运行的模型。而且，很少有人能像你习惯的ChatGPT（尤其是GPT-4）或Claude.ai这样的工具那样好。命令行工具LLM的创建者Simon Willison在上个月的一次演示中认为，即使本地模型的响应是错误的，运行它也是值得的：
在你的笔记本电脑上运行的[一些]会产生疯狂的幻觉——我认为这实际上是运行它们的一个很好的理由，因为在你的电脑上运行弱型号是了解这些东西如何工作及其局限性的一种更快的方式。
同样值得注意的是，开源模型可能会不断改进，一些行业观察人士预计，它们与商业领袖之间的差距会缩小。
1.使用GPT4All运行本地聊天机器人
如果你想要一个在本地运行、不会在其他地方发送数据的聊天机器人，ﾠGPT4Allﾠ提供了一个易于设置的桌面客户端供下载。它包括在自己的系统上运行的型号的选项，还有Windows、macOS和Ubuntu的版本。
当第一次打开GPT4All桌面应用程序时，将看到下载大约10个（截至本文撰写之时）可以在本地运行的模型的选项。其中包括Meta AI的模型Llama-2-7B聊天。如果你有API密钥，你也可以设置OpenAI的GPT-3.5和GPT-4（如果你有访问权限）供非本地使用。
GPT4All接口的模型下载部分一开始有点令人困惑。在我下载了几个模型后，我仍然可以选择全部下载。这表明下载不起作用。然而，当我检查下载路径时，模型就在那里。
图片
GPT4All中模型下载接口的一部分。一旦我打开应用程序的使用部分，我下载的模型就会自动出现。
一旦建立了模型，聊天机器人界面本身就很干净，易于使用。方便的选项包括将聊天复制到剪贴板并生成响应。
GPT4All聊天界面简洁易用
还有一个新的测试版LocalDocs插件，可以让你在本地与自己的文档“聊天”。可以在中启用Settings > Plugins 选项卡，将看到“LocalDocs插件（BETA）设置”标题和在特定文件夹路径创建集合的选项。
该插件正在进行中，并且ﾠ文档ﾠ 警告说，即使LLM可以访问添加的专家信息，它仍可能“产生幻觉”（编造）。尽管如此，这是一个有趣的功能，随着开源模型变得更加强大，它可能会得到改进。
除了聊天机器人应用程序，GPT4All还绑定了Python、Node和命令行界面（CLI）。还有一种服务器模式，可以让你通过一个结构非常像OpenAI的HTTP API与本地LLM交互。目标是通过更改几行代码，让你用本地LLM交换OpenAI的LLM。
2.命令行启动LLM
Simon Willison的LLM是我见过的在自己的机器上本地下载和使用开源LLM的更简单的方法之一。虽然确实需要安装Python来运行它，但不应该接触任何Python代码。如果你在Mac电脑上使用Homebrew，只需使用：
brew install llm