LLMWare.ai 使用方法
LLMWare.ai 是一個開源 AI 框架,提供了一個端到端的解決方案,用於構建企業級 LLM 應用程序,特點是專業的小型語言模型和 RAG 功能,專門為私有雲環境中的金融、法律和監管密集型行業設計。
查看更多如何使用 LLMWare.ai
安裝: 使用 pip 安裝 LLMWare:'pip install llmware' 進行最小安裝,或 'pip install llmware\[full\]' 進行完整安裝,包括常用庫
創建庫: 使用以下命令創建一個新的庫作為您的知識庫容器:lib = Library().create_new_library('my_library')
添加文檔: 將您的文檔(PDF、PPTX、DOCX、XLSX、TXT 等)添加到庫中進行解析和文本分塊。庫將組織和索引您的知識集合
選擇模型: 從 LLMWare 的專業模型中選擇,如 BLING、SLIM、DRAGON 或 Hugging Face 的 Industry-BERT,或使用您自己的模型。模型範圍從 1-7B 參數,並優化為 CPU 使用
設置向量數據庫: 從支持的選項中選擇並配置您偏好的向量數據庫,包括 FAISS、Milvus、MongoDB Atlas、Pinecone、Postgres、Qdrant、Redis、Neo4j、LanceDB 或 Chroma
構建 RAG 管道: 使用 Query 模塊進行檢索,並使用 Prompt 類進行模型推理。將其與您的知識庫結合,以實現 RAG 工作流
配置代理工作流: 對於更複雜的應用,使用 SLIM 模型設置多模型代理工作流,以進行函數調用和結構化輸出
運行推理: 通過直接模型調用或使用 LLMWareInferenceServer 類和 Flask 設置推理服務器來執行您的 LLM 應用
探索示例: 查看 GitHub 倉庫中的廣泛示例文件,涵蓋解析、嵌入、自定義表格、模型推理和代理工作流,以了解更先進的功能
獲取支持: 通過 GitHub 討論、Discord 頻道或觀看他們的 YouTube 頻道上的教程視頻,加入 LLMWare 社區以獲得更多指導
LLMWare.ai 常見問題
LLMWare.ai 是一個開源的 AI 平台,為金融、法律、合規和監管密集型行業在私有雲環境中提供企業級的 LLM 基礎開發框架、工具和精調模型。
查看更多