MinerU 是一款一站式、开源、高质量的数据提取工具，主要包含以下功能:

• Magic-PDF PDF文档提取
• Magic-Doc 网页与电子书提取

Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。

主要功能包含

• 支持多种前端模型输入
• 删除页眉、页脚、脚注、页码等元素
• 符合人类阅读顺序的排版格式
• 保留原文档的结构和格式，包括标题、段落、列表等
• 提取图像和表格并在markdown中展示
• 将公式转换成latex
• 乱码PDF自动识别并转换
• 支持cpu和gpu环境
• 支持windows/linux/mac平台

\

• PDF-Extract-Kit
  • 高质量的PDF内容提取工具包

python >= 3.9

推荐使用虚拟环境，以避免可能发生的依赖冲突，venv和conda均可使用。
例如：

conda create -n MinerU python=3.10
conda activate MinerU

开发基于python 3.10，如果在其他版本python出现问题请切换至3.10。

使用pip安装完整功能包：

受pypi限制，pip安装的完整功能包仅支持cpu推理，建议只用于快速测试解析能力。

如需在生产环境使用CUDA/MPS加速请参考使用CUDA或MPS加速推理

pip install magic-pdf[full-cpu]

❗️已收到多起由于镜像源和依赖冲突问题导致安装了错误版本软件包的反馈，请务必安装完成后通过以下命令验证版本是否正确

magic-pdf --version

如版本低于0.6.x，请提交issue进行反馈。

完整功能包依赖detectron2，该库需要编译安装，如需自行编译，请参考 facebookresearch/detectron2#5114
或是直接使用我们预编译的whl包：

❗️预编译版本仅支持64位系统(windows/linux/macOS)+pyton 3.10平台；不支持任何32位系统和非mac的arm平台，如系统不支持请自行编译安装。

pip install detectron2 --extra-index-url https://myhloli.github.io/wheels/

详细参考 如何下载模型文件
下载后请将models目录移动到空间较大的ssd磁盘目录

在仓库根目录可以获得 magic-pdf.template.json 配置模版文件

❗️务必执行以下命令将配置文件拷贝到用户目录下，否则程序将无法运行

cp magic-pdf.template.json ~/magic-pdf.json

在用户目录中找到magic-pdf.json文件并配置”models-dir”为2. 下载模型权重文件中下载的模型权重文件所在目录

❗️务必正确配置模型权重文件所在目录，否则会因为找不到模型文件而导致程序无法运行

{
  "models-dir": "/tmp/models"
}

如您有可用的Nvidia显卡或在使用Apple Silicon的Mac，可以使用CUDA或MPS进行加速

需要根据自己的CUDA版本安装对应的pytorch版本
以下是对应CUDA 11.8版本的安装命令，更多信息请参考 https://pytorch.org/get-started/locally/

pip install --force-reinstall torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu118

同时需要修改配置文件magic-pdf.json中”device-mode”的值

{
  "device-mode":"cuda"
}

使用macOS(M系列芯片设备)可以使用MPS进行推理加速
需要修改配置文件magic-pdf.json中”device-mode”的值

{
  "device-mode":"mps"
}

magic-pdf pdf-command --pdf "pdf_path" --inside_model true

程序运行完成后，你可以在”/tmp/magic-pdf”目录下看到生成的markdown文件，markdown目录中可以找到对应的xxx_model.json文件
如果您有意对后处理pipeline进行二次开发，可以使用命令

magic-pdf pdf-command --pdf "pdf_path" --model "model_json_path"

这样就不需要重跑模型数据，调试起来更方便

magic-pdf --help

image_writer = DiskReaderWriter(local_image_dir)
image_dir = str(os.path.basename(local_image_dir))
jso_useful_key = {"_pdf_type": "", "model_list": model_json}
pipe = UNIPipe(pdf_bytes, jso_useful_key, image_writer)
pipe.pipe_classify()
pipe.pipe_parse()
md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

s3pdf_cli = S3ReaderWriter(pdf_ak, pdf_sk, pdf_endpoint)
image_dir = "s3://img_bucket/"
s3image_cli = S3ReaderWriter(img_ak, img_sk, img_endpoint, parent_path=image_dir)
pdf_bytes = s3pdf_cli.read(s3_pdf_path, mode=s3pdf_cli.MODE_BIN)
jso_useful_key = {"_pdf_type": "", "model_list": model_json}
pipe = UNIPipe(pdf_bytes, jso_useful_key, s3image_cli)
pipe.pipe_classify()
pipe.pipe_parse()
md_content = pipe.pipe_mk_markdown(image_dir, drop_mode="none")

详细实现可参考 demo.py

仓库地址

GitHub：https://github.com/opendatalab/MinerU