LLMWare.ai 使用方法
LLMWare.ai 是一个开源 AI 框架,提供了一个端到端的解决方案,用于构建企业级 LLM 应用,具有专门的小型语言模型和 RAG 能力,特别针对金融、法律和监管密集型行业在私有云环境中的需求。
查看更多如何使用 LLMWare.ai
安装: 使用 pip 安装 LLMWare:'pip install llmware' 进行最小安装,或 'pip install llmware[full]' 进行完整安装,包括常用库
创建库: 创建一个新库作为您的知识库容器:lib = Library().create_new_library('my_library')
添加文档: 将您的文档(PDF、PPTX、DOCX、XLSX、TXT 等)添加到库中进行解析和文本分块。库将组织和索引您的知识集合
选择模型: 从 LLMWare 的专业模型中选择,如 BLING、SLIM、DRAGON 或 Hugging Face 的 Industry-BERT,或使用您自己的模型。模型参数范围从 1-7B,并针对 CPU 使用进行了优化
设置向量数据库: 从支持的选项中选择和配置您首选的向量数据库,包括 FAISS、Milvus、MongoDB Atlas、Pinecone、Postgres、Qdrant、Redis、Neo4j、LanceDB 或 Chroma
构建 RAG 管道: 使用 Query 模块进行检索和 Prompt 类进行模型推理。结合您的知识库进行 RAG 工作流
配置代理工作流: 对于更复杂的应用,使用 SLIM 模型进行函数调用和结构化输出,设置多模型代理工作流
运行推理: 通过直接调用模型或使用 LLMWareInferenceServer 类和 Flask 设置推理服务器来执行您的 LLM 应用
探索示例: 查看 GitHub 仓库中的大量示例文件,涵盖解析、嵌入、自定义表、模型推理和代理工作流,以了解更高级的功能
获取支持: 通过 GitHub 讨论、Discord 频道或观看他们的 YouTube 频道上的教程视频加入 LLMWare 社区以获得额外指导
LLMWare.ai 常见问题
LLMWare.ai 是一个开源的 AI 平台,为金融、法律、合规和监管密集型行业在私有云环境中提供企业级的 LLM 基础开发框架、工具和微调模型。
查看更多