MinerU 1.3版本后, 强烈建议不要在anaconda环境直接升级这个项目

MinerU 1.3版本后, 强烈建议不要在anaconda环境直接升级这个项目,两次遇到所有的python环境torch性能掉了60%,而且重新安装anaconda或者ROCm环境都无法修复,不得已重装系统。升级这个项目的话,要么删除这个环境重新安装,要么直接docker ROCm/Pytorch下运行,我不理解为什么会这样,anaconda的ROCm torch隔离了一个寂寞,清理了所有我知道的能清理的,都没有解决问题,反复确认就是这个项目升级导致的。。。。
AMD ROCm运行了一下,完全可以用,非常正常。

pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com

然后把它默认安装的什么torch,nvidia*XXX 卸载了就行了,占地方。 安装rocm的torch和onnxruntime-rocm。版本随意,用torch 2.8.0都没问题,onnxruntime-rocm是不是必须的我没来得及确认,习惯性看到onnxruntime模型的直接加上了这个。已经确认,onnxruntime-rocm非必须。因为Rapidtable 作者只识别cuda的onnxruntime正在尝试修改,有一点bug,table识别后的ocr倒是已经自己成功换成torch了。
PS另外一个ultimatevocalremovergui音频处理项目同理也可以这样直接用,套用cuda完美。

#为了方便卸载包,我直接贴出来
pip uninstall torch nvidia-cublas-cu12 nvidia-cuda-cupti-cu12 nvidia-cuda-nvrtc-cu12 nvidia-cuda-runtime-cu12 nvidia-cudnn-cu12 nvidia-cufft-cu12 nvidia-curand-cu12 nvidia-cusolver-cu12 nvidia-cusparse-cu12 nvidia-nccl-cu12 nvidia-nvjitlink-cu12 nvidia-nvtx-cu12
#我用的ROCm 6.3.4,根据自己的版本改一下就行,torchaudio 可以删除,这个项目用不到。
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm6.3
#onnxruntime GPU使用,非必须,可以忽略
pip uninstall onnxruntime onnxruntime-rocm
pip3 install onnxruntime-rocm -f https://repo.radeon.com/rocm/manylinux/rocm-rel-6.3.4/

paddlepaddle这玩意只支持ROCm 4.0的古早期版本,也基本没人维护ROCm版了(什么其他版本都有,ROCm版没有,无话可说,不愧是百度)。编译调试了一下,失败,已经放弃。用默认CPU版的就这样吧。

这个项目的magic-pdf.json放在~目录下,强迫症患者难以接受,非常不适。修改方法如下,
下载模型时,download_models_hf.py 或者 download_models_hf.py 中home_dir = os.path.expanduser(‘~’)
改为你想放到的位置,然后这玩意居然没有作为参数传递,运行的文件还得改一下,我的位置如下,不是用anaconda的可以根据报错找位置.

~/anaconda3/envs/mineru/lib/python3.10/site-packages/magic_pdf/libs/config_reader.py

19行home_dir = os.path.expanduser(‘~’)需要修改

官方的方法为export MINERU_TOOLS_CONFIG_JSON=new_magic_pdf.json,修改位置

然后正常magic-pdf.json中cpu改为cuda就可以使用AMD GPU ROCm加速了。

magic-pdf -p {some_pdf} -o {some_output_dir} -m auto

使用前加上export MIOPEN_LOG_LEVEL=3屏蔽掉warming可以加快处理速度,AMD MIopen 老warming了

7900xtx运行,PDF 页面处理的部分可以加速,200-300多瓦功率之间,解析了一个论文试了一下。

Ubuntu 补充安装了一个apt 包,sudo apt install ccache。不装也不影响运行。

OCR如果以后不使用PaddleOCR,torch rapidocr实装,那么我觉得ROCm完全没问题,甚至都不需要改代码,环境依赖改一下就行了。从识别结果看,table的onnxruntime cpu执行的,5张表时间太长了,在尝试给他改了

以一个14面的小论文展示,cuda,time: 25.73, speed: 0.54 pages/second:

magic-pdf -p Optimum.pdf -o output -m auto
import tensorrt_llm failed, if do not use tensorrt, ignore this message
import lmdeploy failed, if do not use lmdeploy, ignore this message
2025-03-27 17:19:18.496 | INFO | magic_pdf.data.dataset:init:156 - lang: None
2025-03-27 17:19:22.283 | INFO | magic_pdf.libs.pdf_check:detect_invalid_chars:67 - cid_count: 40, text_len: 39995, cid_chars_radio: 0.0010065678552555425
2025-03-27 17:19:22.285 | INFO | magic_pdf.model.pdf_extract_kit:init:78 - DocAnalysis init, this may take some times, layout_model: doclayout_yolo, apply_formula: True, apply_ocr: False, apply_table: True, table_model: rapid_table, lang: None
2025-03-27 17:19:22.285 | INFO | magic_pdf.model.pdf_extract_kit:init:92 - using device: cuda
2025-03-27 17:19:22.285 | INFO | magic_pdf.model.pdf_extract_kit:init:96 - using models_dir: /home/XXX/.cache/modelscope/hub/models/opendatalab/PDF-Extract-Kit-1___0/models
CustomVisionEncoderDecoderModel init
VariableUnimerNetModel init
VariableUnimerNetPatchEmbeddings init
VariableUnimerNetModel init
VariableUnimerNetPatchEmbeddings init
CustomMBartForCausalLM init
CustomMBartDecoder init
2025-03-27 17:19:29,045 - DownloadModel - DEBUG: /home/XXX/anaconda3/envs/mineru/lib/python3.10/site-packages/rapid_table/models/slanet-plus.onnx already exists
[2025-03-27 17:19:29,045] [ DEBUG] download_model.py:34 - /home/XXX/anaconda3/envs/mineru/lib/python3.10/site-packages/rapid_table/models/slanet-plus.onnx already exists
E0327 17:19:29.218801 735058 analysis_config.cc:169] Please use PaddlePaddle with GPU version.
E0327 17:19:29.337440 735058 analysis_config.cc:169] Please use PaddlePaddle with GPU version.
E0327 17:19:29.427906 735058 analysis_config.cc:169] Please use PaddlePaddle with GPU version.
2025-03-27 17:19:29.523 | INFO | magic_pdf.model.pdf_extract_kit:init:174 - DocAnalysis init done!
2025-03-27 17:19:29.523 | INFO | magic_pdf.model.doc_analyze_by_custom_model:custom_model_init:128 - model init cost: 7.2390546798706055
2025-03-27 17:19:29.523 | INFO | magic_pdf.model.doc_analyze_by_custom_model:doc_analyze:180 - gpu_memory: 24 GB, batch_ratio: 8
2025-03-27 17:19:38.659 | INFO | magic_pdf.model.batch_analyze:call:74 - layout time: 8.82, image num: 14
2025-03-27 17:19:39.623 | INFO | magic_pdf.model.batch_analyze:call:85 - mfd time: 0.96, image num: 14
2025-03-27 17:19:45.392 | INFO | magic_pdf.model.batch_analyze:call:100 - mfr time: 5.77, image num: 401
2025-03-27 17:19:55.135 | INFO | magic_pdf.model.batch_analyze:call:195 - det time: 6.06, image num: 200
2025-03-27 17:19:55.136 | INFO | magic_pdf.model.batch_analyze:call:197 - table time: 3.65, image num: 5
2025-03-27 17:19:55.250 | INFO | magic_pdf.model.doc_analyze_by_custom_model:doc_analyze:235 - gc time: 0.11
2025-03-27 17:19:55.251 | INFO | magic_pdf.model.doc_analyze_by_custom_model:doc_analyze:239 - doc analyze time: 25.73, speed: 0.54 pages/second
2025-03-27 17:19:55.425 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 0, last_page_cost_time: 0.0
2025-03-27 17:19:56.017 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 1, last_page_cost_time: 0.59
2025-03-27 17:19:56.210 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 2, last_page_cost_time: 0.19
2025-03-27 17:19:56.430 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 3, last_page_cost_time: 0.22
2025-03-27 17:19:56.618 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 4, last_page_cost_time: 0.19
2025-03-27 17:19:56.811 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 5, last_page_cost_time: 0.19
2025-03-27 17:19:57.056 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 6, last_page_cost_time: 0.24
2025-03-27 17:19:57.262 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 7, last_page_cost_time: 0.21
2025-03-27 17:19:57.439 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 8, last_page_cost_time: 0.18
2025-03-27 17:19:57.624 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 9, last_page_cost_time: 0.19
2025-03-27 17:19:57.784 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 10, last_page_cost_time: 0.16
2025-03-27 17:19:57.999 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 11, last_page_cost_time: 0.22
2025-03-27 17:19:58.189 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 12, last_page_cost_time: 0.19
2025-03-27 17:19:58.542 | INFO | magic_pdf.pdf_parse_union_core_v2:pdf_parse_union:946 - page_id: 13, last_page_cost_time: 0.35
2025-03-27 17:20:06.300 | INFO | magic_pdf.tools.common:do_parse:242 - local output dir is XXX
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇