loader机制让大模型具备实时学习的能力：

0 Loader机制

案例环境准备：

 import os  os.environ["OPENAI_API_KEY"] = "sk-javaedge" os.environ["OPENAI_PROXY"] = "https://api.chatanywhere.tech"   import os from dotenv import load_dotenv # Load environment variables from openai.env file load_dotenv("openai.env")  # Read the OPENAI_API_KEY from the environment api_key = os.getenv("OPENAI_API_KEY") api_base = os.getenv("OPENAI_API_BASE") os.environ["OPENAI_API_KEY"] = api_key os.environ["OPENAI_API_BASE"] = api_base

1 加载markdown

准备一个 md 文件：

 # 我是一个markdown加载示例 - 第一项目 - 第二个项目 - 第三个项目  ## 第一个项目 编程严选网，最厉害专业的AI研究基地  ## 第二个项目 AIGC打造未来AI应用天地  ## 第三个项目 编程严选网是一个非常牛逼的AI媒体

 #使用loader来加载markdown文本 from langchain.document_loaders import TextLoader  loader = TextLoader("loader.md") loader.load()

2 加载cvs

 Project,DES,Price,People,Location AI GC培训,培训课程,500,100,北京 AI工程师认证,微软AI认证,6000,200,西安 AI应用大会,AI应用创新大会,200门票,300,深圳 AI 应用咨询服务,AI与场景结合,1000/小时,50,香港 AI项目可研,可行性报告,20000,60,上海

 #使用 CSVLoader 来加载 csv 文件 from langchain.document_loaders.csv_loader import CSVLoader  #loader = Loader(file_path="loader.") loader = CSVLoader(file_path="loader.csv") data = loader.load() print(data)

3 加载html

先下包：

 ! pip install "unstructured[xlsx]"

加载文件目录

 from langchain.document_loaders import UnstructuredHTMLLoader  loader = UnstructuredHTMLLoader("loader.html") data = loader.load() data

会加载 html 所有内容。

 from langchain.document_loaders import BSHTMLLoader loader = BSHTMLLoader("loader.html") data = loader.load() data

只加载去除标签后的关键内容：

4 加载JSON

先装 jq 包：

  ! pip install jq

 from langchain.document_loaders import JSONLoader loader = JSONLoader(     file_path = "simple_prompt.json",jq_schema=".template",text_content=True ) data = loader.load() print(data)

5 加载PDF

先装包：

 ! pip install pypdf

 from langchain.document_loaders import PyPDFLoader loader = PyPDFLoader("loader.pdf") pages = loader.load_and_split() pages[0]