Cloudera公司数据流首席工程师Tim Spann 表示，Mixtral-8x7B大型语言模型(LLM)是一个预先训练的生成式稀疏专家混合模型。
他表示，这个模型很有趣，也很容易理解。在适当的提示下，它似乎表现很好。而通过用例，他并不确定Mixtral-8x7B是否比Google Gemma、Meta LLAMA2或OLLAMA Mistral更好。
Spann撰写的文章将展示如何使用Mixtral LLM，只需要几个步骤就可以针对文本输入运行Mixtral LLM。
该模型可以由轻量级无服务器REST API或Transformer库运行。也可以使用GitHub存储库，其场景最多可以有32000个令牌。开发人员还可以输入英语、意大利语、德语、西班牙语和法语的提示。关于如何利用这一模型有很多选项，而本文将展示如何利用Apache NiFi系统构建实时LLM管道。
开发人员需要决定的一个关键问题是将使用什么样的输入(聊天、代码生成、问答、文档分析、摘要等)。一旦决定输入，需要创建一些提示，并且进行调整。文中将提供一些指导，帮助提高快速构建技能。Spann在其演练教程中介绍一些基本的提示工程。
构建最佳提示的指南
提示符的构建对于使其正常工作非常关键，因此使用Apache NiFi系统构建提示符。
流程概述
步骤1：创建并格式化提示符
在构建应用程序时，以下是将要使用的基本提示模板。
提示模板
{
"inputs":
"<s>[INST]Write a detailed complete response that appropriately
answers the request.[/INST]
[INST]Use this information to enhance your answer:
${context:trim():replaceAll('"',''):replaceAll('\n', '')}[/INST]
User: ${inputs:trim():replaceAll('"',''):replaceAll('\n', '')}</s>"
}