大语言模型评审能力缺陷实证研究 ——以生成式AI辅助评审实践为例

【摘要】随着大语言模型在公共资源交易领域的快速应用，其概率生成特性与评审所要求的确定性逻辑之间的冲突日益凸显。文章基于江苏省南通市134个工程项目“人机平行作业”的运行日志，系统评估“规则引擎＋模型推理”架构下大语言模型的评审能力边界，归纳了无中生有等八大类典型缺陷，并深入剖析了底层算法机理，有针对性地提出了“算法约束＋工程优化＋人机协同”三维防御体系，通过引入思维链机制等技术手段抑制模型的随机熵值，为大语言模型在评审场景中的安全应用提供了实证依据与治理路径。

【关键词】大语言模型；智能评审；缺陷表征；检索增强生成；人机协同

传统电子辅助评审多依赖关键词匹配或简单的结构化数据比对，难以应对投标文件中的施工方案、服务承诺等非结构化文档的深度语义理解。随着AI（Artificial Intelligence，人工智能）技术的代际跃迁，特别是以Transformer架构〔基于自注意力（Self-Attention）机制的神经网络架构〕为核心的大语言模型（Large Language Models,LLMs）的爆发式增长，公共资源交易领域的数字化转型正面临从“电子化”向“智能化”跨越的关键节点。笔者首次在行业内系统揭露LLMs在评审场景下的“能力边界”与“风险特征”，并分析其背后的算法机理，旨在深度解剖AI评审缺陷现象，提出针对性防治方法，对当前盲目技术崇拜进行理性“祛魅”，为全国行业从业者提供参考。

背景介绍

2026年2月，国家发展和改革委员会等八部委联合印发了《关于加快招标投标领域人工智能推广应用的实施意见》（发改法规〔2026〕195号），标志着我国招标投标行业推广应用AI技术进入快速发展阶段。事实上，部分地区已先行探索引入LLMs辅助评审，但行业内对LLMs的推理能力过度乐观，忽视了其作为概率生成模型的“或然性”与招标投标评审所需的“确定性”之间的内在冲突。保持大模型语义理解优势，同时规避不确定性风险，已成为当前智能评审技术落地的核心命题。

南通市作为全国最早将大模型技术引入评审实践的地区之一，自2024年下半年起，率先开展了“规则引擎＋模型推理”架构的智能评审探索，其技术路径并非直接让大模型自由发挥，而是通过严密的机制进行约束：第一步，将招标文件中的客观评审标准（否决投标条款、评分细则）通过规则引擎编译为可执行的结构化指令；第二步，利用南通研发的、基座模型为千问（阿里云推出的通义大语言模型）、豆包（字节跳动推出的AI助手）的Llama Review GPT系统，在限定的规则约束下，对投标文件进行推理分析；第三步，输出包含推理依据的结构化评审结果。截至2026年2月，该系统已实际运行了约134个投标项目，积累了大量真实人机交互日志，为深入研究大模型在垂直专业领域的表现提供了宝贵的第一手实证资料。

尽管“规则引擎＋模型推理”模式在提升评审效率、辅助专家快速定位关键信息方面展现了巨大潜力，但其黑盒（Black Box）特性在实战检验中也暴露无遗。大模型在执行评审推理任务时，并非如预想般完美遵循逻辑规律，而是频繁出现各类非确定性异常。

大模型辅助评审缺陷表征与实证分析

笔者基于南通实践数据，归纳大模型辅助评审的缺陷类型，并以典型案例加以佐证。

数据来源与评估方法

笔者在南通市公共资源交易中心实际运行日志中选取样本，时间跨度为2024年10月至2026年2月，涵盖了房屋建筑、市政基础设施等类型的134个标段。为客观评估大模型的评审能力，采用“人机平行作业”的对照实验方法，通过对比模型输出的结论与专家组的最终结果，分析两者差异。专家评审和系统后台运行同步进行，两者“背靠背”独立评审，互不干扰。

缺陷类型的总体特征

基于对差异样本的系统性梳理，笔者将LLMs在评审场景下的缺陷表现归纳为八大类（见表1）。这8类缺陷通常不会孤立存在，而是在评审任务中交织出现。

典型缺陷的实证剖析

1.生成式幻觉：无中生有

“幻觉”是LLMs最顽固的内生缺陷，与传统检索系统的“查不到即为空”的确定性逻辑形成鲜明对比。具体表现为在评审场景中，模型为迎合提示词中“寻找某项业绩”的指令，可能编造出表面合理但实际不存在的项目描述。

案例1：某项目评审中，投标人未提供“合规性承诺书”，LLMs却给出了“合格”的判定结论（见图1）。

2.逻辑边界溢出：过度推理

大模型具备强大的联想能力，但在评审场景中，这种能力往往“画蛇添足”——模型倾向于引入招标文件并未明确规定的外部常识或隐含条件，从而收窄或放宽评审标准。

案例2：在某粮食仓库建设项目评定过程中，Llama Review GPT执行“营业执照”有效性审查。某投标人营业执照名称为“南通**建设工程有限公司”，载明的“公司类型”为“有限责任”，AI将“有限公司”与“有限责任”两个信息叠加，自行推断其名称为“南通**建设工程有限责任公司”，而该单位“投标函”载明的名称则为“南通**建设工程有限公司”（无“责任”二字）。AI判定，“投标函”载明的公司名称与“营业执照”记录的公司名称不符，结论为“不通过”（见图2）。

3.多模态对齐缺陷：模式失效

当前的基座模型声称支持多模态输入，但在处理工程图纸、扫描件与原生电子文档混合的投标文件时，仍然很不稳定。

案例3：在识别某项目投标人“营业执照”过程中，由于该营业执照是“扫描图片转PDF”，属于图片型PDF（仅含图像层，无任何可直接读取的文本字符）；而普通LLM只有纯文本理解能力，没有OCR（Optical Character Recognition，光学字符识别）+视觉解析能力，因此无法从图片里提取“经营范围”等文字信息（见图3）。

4.基础逻辑缺失：认知障碍

大模型在进行复杂的语义理解时表现尚可，但在处理基础的数学计算（如日期加减）或简单的集合逻辑判断时，却常出现“低级错误”。

案例4：某项目中，招标文件要求投标单位具备电力工程施工总承包叁级（含）以上资质。某投标人提供了电力工程施工总承包贰级资质证书，满足招标文件要求。但模型将贰级判定为低于叁级，误判为不合格（见图4）。

5.概率性不确定：随机灾难

概率性不确定是工程化应用中最致命的问题。Transformer架构本质上是基于概率预测下一个词元（Token），即使将Temperature（温度参数）设为极低，多次运行的结果仍可能出现“翻转”。

案例5：某项目评审中，针对同一份投标文件，使用LLMs在不同时段进行评审，两者结论完全不同（见图5）。

6.上下文漂移：疲劳老化

实践中发现，当模型连续处理数十份几百页的投标文件时，其注意力机制似乎出现明显“疲劳”现象。后续轮次的推理质量显著低于前几轮，表现为遗忘前序指令或忽略关键信息。

案例6：在评审营业执照环节，指令要求逐项审查营业执照中的4个要素，但模型未能正确提取营业执照内容，转而将另外两份材料的内容进行对比，给出臆断结论（见图6）。

7.鲁棒性波动：无端降智

在未进行任何参数调整或版本更新的情况下，模型偶尔表现出对简单指令的理解能力丧失。

案例7：投标文件中已包含了投标人公章、法定代表人公章及签名，但模型在某一时刻突然无法理解“盖章”这一视觉特征，误判为未加盖法定代表人公章（见图7）。

8.一致性缺失：推理歧视

这一缺陷对公平原则最具破坏性。双盲测试表明，对于两家投标人完全一致的响应内容（甚至可能是复制粘贴的段落），模型给出了截然不同的评分结果。

案例8：在评审两家投标人的同一个评分点时，模型对招标文件规定的下浮率采用了不同的理解和计算方法（见图8）。

上述实证分析可见，LLMs在评审领域的应用并非简单的“技术移植”，而是面临着从“概率生成”向“确定性推理”转化的根本性挑战。忽视这些缺陷而盲目追求全流程无人化评审，将给公共资源交易带来不可控的法律风险。

缺陷背后的机理分析

大模型推理框架下的智能评审的各类缺陷，源于生成式AI的概率特性与公共资源交易“确定性逻辑”之间的结构性错配。

“概率预测”与“确定性判定”的冲突

1.下一个Token的预测机制

LLMs的核心任务是基于上下文预测下一个最可能出现的Token，其本质是一个基于海量数据训练的概率分布函数。在评审场景中，当需要判定“投标文件是否响应评分标准条款”时，模型并非像人类专家一样进行逻辑推演，而是在计算“是”与“否”在当前语境下的生成概率。正是这种机制导致了“随机灾难”与“无中生有”两类缺陷。即便将温度参数设为接近0，浮点数计算的微小扰动仍可能导致模型在概率相近的选项间发生“跳变”，使结果出现不确定性。

2.语义空间的非线性映射

人类语言具有高度的模糊性，而评审规则要求绝对精确。大模型通过高维向量空间表征语义，在“相似度”计算中容易将“语义相关”误判为“逻辑等价”——这正是“过度推理”现象产生的根源。例如，模型可能因为“社保缴纳证明”与“劳动合同”在语义向量上的距离极近，在前者缺失的前提下，错误地认可后者并推导出了“通过”的结论，从而逾越规则的刚性边界。

上下文窗口限制与注意力衰减

1.注意力机制的稀释

Transformer架构依赖自注意力机制来捕捉长文本中依赖关系。然而，随着输入Token数量的增加（如数百页的投标文件），注意力会被分散——这正是“疲劳老化”缺陷的根源。在长序列推理中，关键信息（如具体的否决投标条款）可能被淹没在冗余的文本噪声中，导致模型“视而不见”。这也解释了为何在连续处理多个标段后，键值缓存（KV Cache）的累积可能导致推理性能下降。

2.“中间迷失”现象

近期研究表明，LLM倾向于关注提示词（Prompt）的开头和结尾，而忽略中间部分的信息。当招标文件规则繁杂且位于提示词中间段落时，模型极易发生认知障碍，忽略特定的限制条件（如日期、金额阈值），导致简单的逻辑判断出错。

规则转译过程中的“信息熵增”

在“规则引擎＋模型推理”架构中，存在一个关键的“转译”环节，即将自然语言编写的招标文件转化为机器可执行的程序语言。由于招标文件的表述往往隐含着复杂的嵌套逻辑（如“除……之外，且……”），在将其转化为结构化指令的过程中，不可避免地会出现信息的丢失或歧义。这种转译过程中的“熵增（Entropy Increase）”，是引发“推理歧视”的重要诱因。微小的提示词表述差异，在模型的高维空间中可能被放大为截然不同的推理路径，导致对不同投标人采用双重标准。

多模态对齐的“认知鸿沟”

当前的视觉语言模型（Vision Language Model,VLM）通常采用独立的视觉编码器（如Vision Transformer）与语言模型对齐。对于PDF文档，系统通常提取的是纯文本层；而对于PNG图片，系统则依赖视觉特征提取。两者在底层特征表示上的不一致，导致了模型对同一内容的“双标”，直接引发了“模式失效”。模型可能精准理解了PDF中的文字语义，却因图片分辨率、噪点或手写字体干扰，无法将图片中的文字信息正确映射到同样的语义空间，造成识别结果的反差。

综上，LLMs在评审中的种种缺陷并非偶然，而是其作为概率生成模型在应对确定性逻辑任务时的特征反映。从治理角度来看，虽然无法彻底消除模型的概率属性，但可以通过架构设计将这种不确定性约束在可控范围内。

风险防御与效能提升策略

针对前文所述的LLMs在评审场景下的“概率性”缺陷与“认知边界”，笔者提出构建“算法约束＋工程优化＋人机协同”的三维防御体系，旨在以技术手段将模型的随机熵值降至最低，并通过流程重构确保评审结果的合规性与确定性。

提示词工程的确定性重构

针对“过度推理”与“认知障碍”等逻辑类缺陷，单纯依赖自然语言指令不足以约束模型。必须引入结构化思维链技术。

1.引入思维链机制

为抑制模型直接输出结论时的“跳跃式”错误，需要在提示词设计中强制植入思维链（Chain of Thought,CoT）逻辑。要求模型在给出“通过/不通过”的结论前，必须先输出推理过程。将指令从“请判断是否符合”升级为“请先提取投标文件中的相关数值，再列出招标文件要求的阈值，最后进行比对并得出结论”。

通过显式地展开推理步骤，思维链显著降低了模型在日期计算和逻辑包含关系上的“认知障碍”，使推理过程可回溯、可审计。AI在给出“现场围挡设施布置”评审时的思维链过程如图9所示。

2.结构化输出与负向约束

针对“过度推理”问题，建立严格的输出模板，如JSON模式（JavaScript Object Notation Schema，JavaScript对象表示法模式）。在提示词中明确设立“负向约束”，例如，“严禁使用外部常识进行推断，仅依据检索到的文本片段回答”“若未找到明确依据，必须输出空值（NULL），不得自行补充”。该措施有效收敛了模型的发散性，在一定程度上遏制了“逻辑边界溢出”现象。

检索增强生成的治理

针对“无中生有”这一顽疾，重点在于切断模型利用训练数据中的“世界知识”进行编造的路径，强制其仅基于本地知识库（投标文件）生成答案。

1.“证据锚点”锁定技术

实施“无引用，不输出”原则。要求模型在输出任何评审结论时，必须同步返回引用的原文片段及其在投标文件中的具体页码坐标。这不仅解决了“幻觉”难以检测的问题，还为专家复核提供了极其便利的“原文跳转”功能，显著降低了人工核验成本。

2.动态分块与语义索引优化

针对“模式失效”中多模态对齐的问题，优化RAG（Retrieval-Augmented Generation，检索增强生成）系统的预处理环节。对于PDF中的图片和扫描件，引入高精度的OCR引擎进行预处理，将视觉信息转化为文本信息后再存入向量数据库，消除PNG与PDF在底层数据上的异构性，确保模型对不同格式的投标文件“一视同仁”。

针对“不确定性”的工程化矫正

针对“随机灾难”和“疲劳老化”等与模型底层概率机制相关的缺陷，采用统计学和工程学手段进行外部干预。

1.自洽性投票机制

鉴于模型输出的概率波动，单次推理结果不可信。对关键的否决投标条款，系统在后台默认执行3次独立推理。只有当3次推理结果完全一致时，才采信该结论；若出现分歧（如2次通过，1次不通过），则触发“高风险预警”，强制转入人工复核通道。该方法利用大数定律平抑了单次生成的随机噪声，大幅降低了“随机灾难”的发生率。

笔者发现，采用多模型推理的方式可有效提升评审推理的精准度。实践中搭建的千问＋豆包双模型对抗迭代推理框架，应用后系统的一次性评审精度提升了4％～5％，优于单一模型的多轮次推理效果；尽管该框架会产生一定的算力资源与时间成本损耗，但从评审结果高确定性要求来看，此类投入具备显著的实践价值。

2.上下文窗口的动态清洗

针对长序列评审中的“疲劳老化”现象，放弃“一杆到底”的对话模式，实施“会话重置”策略。每完成一个标段或一个章节的评审后，强制清空模型的键值缓存，确保模型在处理每一份新投标文件时都处于“初始最佳状态”，有效阻断前序标书的错误信息对后续评审的干扰，解决推理质量随时间衰减的问题。

人机协同新范式

由前文对缺陷危害程度（极高）的分析，特别是“推理歧视”和“无中生有”的高隐蔽性可知，完全无人化的自动评审在当前阶段并不现实且风险极大。

其一，要确保“AI初审＋专家复核”的双验闭环。明确LLMs的定位是“评审助手”而非“终审法官”。AI负责初筛、定位证据、提示风险点（图10），人类专家负责对AI的存疑结果进行最终裁决。特别是对于AI判定为“不通过”的否决投标项，强制要求专家进行100％复核；对于AI判定为“通过”的常规项，按比例实行抽检。

其二，要设置置信度阈值警告机制。利用模型输出的对数概率（Logprobs）计算置信度分数。当模型对某个评审点的判断置信度低于预设阈值（如0.8）时，系统在界面上以醒目的黄色高亮标注，提示专家“此处模型判断置信度较低，建议人工审查”。

通过上述防御策略的组合应用，虽无法从理论上彻底消除LLMs的幻觉与概率性，但在工程实践中，南通已成功将其引发的风险收敛至可控区间。这证明了在强规则约束和人机协同保障下，LLMs依然是提升评审效率的有力工具。

研究结论与行业展望

基于南通的实证数据，笔者系统性地评估了基于“规则引擎＋模型推理”架构的LLMs在工程建设评审中的应用能力，得出3点研究结论，并对智能评审技术的未来发展提出两点展望。

研究结论

第一，LLMs的“概率本质”与评审的“确定性要求”存在结构性错配。虽然LLMs在语义理解和非结构化数据处理上展现了超越传统算法的优势，但其作为概率生成模型，由Tr-ansformer架构的数学特性决定了其在面对需要高精度逻辑闭环的评审任务时，会表现出“随机灾难”“无中生有”及“过度推理”等内生缺陷。

第二，“通用大模型”尚不足以独立承担“专家”角色。实证表明，即使是国产顶尖的基座模型，在未经垂直微调的情况下，也极易受通用语料中的“世界知识”干扰，导致在特定评审场景下出现“幻觉”或“认知障碍”。当前，AI的定位只能是智能辅助工具，而非替代人类专家的全自动评审系统。

第三，“规则约束＋人机协同”是当前技术落地的可行路径。南通的实践证明，通过严密的提示词、RAG以及人工复核机制，可将LLMs的应用风险收敛至可控区间。只有将LLMs关在“规则的笼子”里，并辅以人类专家的最终裁量权，方能在提升效率的同时，守住交易公平公正的底线。

行业展望

一是从“通用模型”向“垂类模型”进化。目前的智能评审多直接调用通用LLMs的API（Application Programming Interface，应用程序编程接口）。未来，行业应致力于构建“公共资源交易领域的垂直大模型”。利用大规模历史投标文件、评审报告及法律法规数据进行全量微调或指令微调，使模型“内化”评审逻辑，从根源上降低幻觉率，提升对招标投标专业术语的理解深度。

二是建立“AI评审能力”的准入与评测标准。随着各地智能评审系统的快速发展，亟须建立行业级的评测标准。建议相关部门制定“智能辅助评审系统能力评估规范”，设立涵盖逻辑推理、幻觉检测、多模态识别等维度的测试集。只有通过“资格考试”的AI系统方可上线辅助评审，防止劣质算法导致错评漏评风险。

结语

无论技术如何演进，终须回归理智与公正的本源。任何逾越逻辑的概率计算，都是对交易公平性的潜在侵蚀；任何凌驾于规则之上的算法黑盒，都潜藏着不可接受的风险。笔者揭示大模型的内生缺陷并构建防御体系，旨在为即将到来的AI评审时代确立初步的行为框架，让算法在规则的阳光下运行，而非在概率的迷雾中审判。

〔作者单位：南通市公共资源交易中心（南通市政府采购中心）〕