2023年6月30日

在最近的王牌企業車間、馬爾特Pietsch,深陷的公司的共同創始人兼首席技術官、共享他的見解和經驗上部署大型語言模型(llm)。深陷的是自然語言處理(NLP)的最前沿,成為一個標準的構建LLM應用程序在企業領域!一個關鍵的結論在語言模型檢索的重要性增強管道。Pietsch強調使用這種技術,包括將附加信息納入到語言模型給出的提示。這樣做有效地減少錯誤信息的生成,也稱為幻覺。例如,當訓練語言模型來回答一個特定的公司,增加檢索允許包含有關公司內部的數據。這個添加上下文幫助語言模型了解公司的內部運作,導致更準確和上下文相關的反應。的成本和性能考慮部署語言模型在討論中突出顯示。部署成本有很大的差別,從大約1000美元自托管模型高達60000美元的模型由第三方供應商。降低這些成本,一些策略建議。 Firstly, opting for smaller, specialized models and optimizing the retrieval and prompting processes can help reduce expenses. This includes utilizing cache or persistent storage to leverage similarities with previous queries and minimize the number of calls. Another aspect discussed was the utilization of small device sets, where the expected answer and relevant documents are provided. Incorporating this information, such as key terms or indicative phrases, into the retrieval process allows for more targeted and efficient retrieval of relevant information, enhancing the system’s overall performance. “The next generation