清洁设备网站模版,简历帮忙制作,学校网站查询个人信息,网站开发人员 生活Nanonets-OCR2 1.5B#xff1a;文档智能转换的终极解决方案 【免费下载链接】Nanonets-OCR2-1.5B-exp 项目地址: https://ai.gitcode.com/hf_mirrors/nanonets/Nanonets-OCR2-1.5B-exp
Nanonets-OCR2 1.5B-exp 是一个革命性的图像转文本OCR模型#xff0c;能够将复杂…Nanonets-OCR2 1.5B文档智能转换的终极解决方案【免费下载链接】Nanonets-OCR2-1.5B-exp项目地址: https://ai.gitcode.com/hf_mirrors/nanonets/Nanonets-OCR2-1.5B-expNanonets-OCR2 1.5B-exp 是一个革命性的图像转文本OCR模型能够将复杂文档转换为结构化Markdown格式具备智能内容识别和语义标记能力。该模型基于Qwen2-VL-2B-Instruct构建专为下游大型语言模型处理而设计支持多语言文档识别和智能内容提取。核心功能详解数学公式智能识别模型能够自动识别文档中的数学公式并将其转换为标准LaTeX语法格式。它能准确区分行内公式$...$和显示公式$$...$$为学术论文和技术文档处理提供专业支持。图像内容结构化描述对于文档中的图像内容模型会生成详细的描述信息并封装在img标签中。无论是标识、图表还是示意图模型都能准确捕捉其内容、样式和上下文信息。签名与水印提取在商业和法律文档处理方面表现卓越签名检测自动识别并隔离签名使用signature标签封装水印提取检测文档中的水印文字使用watermark标签标记页码识别准确提取页码信息支持多种页码格式表单元素智能处理模型能够识别并标准化处理表单中的交互元素复选框转换为☐、☑、☒等Unicode符号支持单选按钮和复杂表单结构复杂表格精准提取在处理数据密集型文档时模型能够准确提取复杂表格结构同时生成Markdown和HTML两种格式保持表格的原始布局和层次关系流程图与组织结构图转换模型能够将流程图和组织结构图转换为Mermaid代码为技术文档的版本控制和协作提供便利。快速上手指南使用Transformers库from PIL import Image from transformers import AutoTokenizer, AutoProcessor, AutoModelForImageTextToText model_path nanonets/Nanonets-OCR2-1.5B-exp model AutoModelForImageTextToText.from_pretrained( model_path, torch_dtypeauto, device_mapauto ) model.eval() tokenizer AutoTokenizer.from_pretrained(model_path) processor AutoProcessor.from_pretrained(model_path) def ocr_page_with_nanonets_s(image_path, model, processor, max_new_tokens4096): prompt 提取文档中的文本内容保持自然阅读顺序。表格以HTML格式返回公式以LaTeX表示。如果文档中有图片且没有标题在img/img标签内添加图片描述如果有标题将标题放入img/img标签内。水印用watermark标签包裹页码用page_number标签标记。复选框使用☐和☑符号。 image Image.open(image_path) messages [ {role: system, content: 你是一个有用的助手。}, {role: user, content: [ {type: image, image: ffile://{image_path}}, {type: text, text: prompt}, ]}, ] text processor.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs processor(text[text], images[image], paddingTrue, return_tensorspt) inputs inputs.to(model.device) output_ids model.generate(**inputs, max_new_tokensmax_new_tokens, do_sampleFalse) generated_ids [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)] output_text processor.batch_decode(generated_ids, skip_special_tokensTrue, clean_up_tokenization_spacesTrue) return output_text[0] image_path your_document.jpg result ocr_page_with_nanonets_s(image_path, model, processor) print(result)使用vLLM加速推理启动vLLM服务器vllm serve nanonets/Nanonets-OCR2-1.5B-exp调用模型进行预测from openai import OpenAI import base64 client OpenAI(api_key123, base_urlhttp://localhost:8000/v1) def encode_image(image_path): with open(image_path, rb) as image_file: return base64.b64encode(image_file.read()).decode(utf-8) def ocr_page_with_nanonets_s(img_base64): response client.chat.completions.create( modelnanonets/Nanonets-OCR2-1.5B-exp, messages[ { role: user, content: [ { type: image_url, image_url: {url: fdata:image/png;base64,{img_base64}}, }, { type: text, text: 提取文档中的文本内容..., }, ], } ], temperature0.0, max_tokens15000 ) return response.choices[0].message.content test_img_path your_document.jpg img_base64 encode_image(test_img_path) print(ocr_page_with_nanonets_s(img_base64))性能表现对比Markdown转换准确率模型胜率 (%)负率 (%)双方正确 (%)Nanonets OCR2 1.5B exp13.0081.205.79Gemini 2.5 flash34.3557.608.06Nanonets OCR2 3B29.3754.5816.04视觉问答性能数据集Nanonets OCR2 1.5BNanonets OCR2 3BQwen2.5-VL-72BChartQA78.5679.2076.20DocVQA89.4385.1585.51实用技巧提升准确率图像质量优化提高分辨率使用300dpi以上的高质量图像增强对比度确保文本与背景的对比度不低于5:1去模糊处理对扫描件进行图像增强金融文档处理对于表格密集的金融文档建议使用以下提示词user_prompt 以自然阅读顺序提取文档文本。表格以HTML格式返回公式以LaTeX表示。图片描述放入img标签水印用watermark标记页码用page_number标注。复选框使用☐和☑符号。多语言支持能力模型支持以下语言文档处理主要语言英语、中文、法语、西班牙语扩展语言葡萄牙语、德语、意大利语、俄语亚洲语言日语、韩语、阿拉伯语应用场景覆盖技术文档处理将设计稿转换为可编辑图表技术规范文档结构化API文档自动格式化商业文档分析财务报表表格提取合同文档签名识别商业计划书内容结构化教育资料转换教材图表数字化学术论文公式识别课件内容结构化处理该模型的开源特性使其成为开发者和研究人员的理想选择能够轻松集成到现有的文档处理流程中大幅提升工作效率。【免费下载链接】Nanonets-OCR2-1.5B-exp项目地址: https://ai.gitcode.com/hf_mirrors/nanonets/Nanonets-OCR2-1.5B-exp创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考