🔍Haystack 是一个开源 NLP 框架，它利用预训练的 Transformer 模型，它帮助开发人员的 NLP 应用程序快速构建语义搜索、问答、摘要和文档排序等服务。

https://github.com/deepset-ai/haystack

https://haystack.deepset.ai/tutorials     # 教程

https://docs.haystack.deepset.ai/docs/get_started        # get started

Haystack是一个端到端框架，使您能够为不同的搜索用例构建功能强大且可用于生产的管道。无论您想执行问答还是语义文档搜索，您都可以使用 Haystack 中最先进的 NLP 模型来提供独特的搜索体验，并允许您的用户使用自然语言进行查询。Haystack 以模块化方式构建，因此您可以结合其他开源项目（如 Huggingface 的 Transformers、Elasticsearch 或 Milvus）的最佳技术。

一、Haystack 的使用场景

• 用自然语言提问并在您的文档中找到详细的答案。
• 执行语义搜索并根据含义而不是关键字检索文档
• 使用现成的模型或根据您的领域对其进行微调。
• 使用用户反馈来评估、基准测试并不断改进您的实时模型。
• 利用现有知识库，更好地处理聊天机器人收到的长尾查询。
• 通过自动将问题列表应用于新文档并使用提取的答案来自动化流程。

二、核心功能

• 最新模型：利用所有最新的基于转换器的模型（例如，BERT、RoBERTa、MiniLM）进行提取 QA、生成 QA 和文档检索。
• 模块化：适合您的技术堆栈和用例的多种选择。选择您最喜欢的数据库、文件转换器或建模框架。
• 管道：Haystack 的节点和管道设计允许自定义将查询路由到相关组件。
• 开放：与 HuggingFace 的模型中心 100% 兼容。与其他框架（例如，Transformers、FARM、sentence-transformers）的紧密接口
• 可扩展：通过检索器、生产就绪后端（如 Elasticsearch / FAISS）和 fastAPI REST API 扩展到数百万文档
• 端到端：所有工具集中在一个地方：文件转换、清理、拆分、训练、评估、推理、标记等。
• 开发人员友好：易于调试、扩展和修改。
• 可定制：根据您的领域微调模型或实现您的自定义 DocumentStore。
• 持续学习：通过生产中的用户反馈收集新的训练数据并不断改进您的模型