| 仿真算得出来，评估为何难复现？效能评估的瓶颈不在“算”，而在“组织”。

仿真结束，并不等于推演结束。

仿真手段日益成熟，但上千次想定跑完了，数据堆在硬盘里，真正要回答的“这套体系到底行不行、差在哪里、改了哪里才有效”，数据依然要靠人工耗时整理。

指标靠经验罗列，数据靠手工回收，结论难以复现，效能评估这一环，大量停留在“人工流水线”上。

方法论研究其实早已给出了清晰答案。缺的，从来不是方法，而是把答案落到工具里的那一步。

一、卡住效能评估的瓶颈

在效能评估这件事上，行业现状可以概括为四个字：经验驱动。

由此带来四类典型痛点。

评估过程高度手工化：指标体系靠文档与表格维护，实验安排靠人工排布，上千次仿真结果靠人力回收统计；过程不可继承，换人换团队就要重走一遍。

仿真结论难复现难追溯：想定改过哪一版、指标定义是否变更、随机种子是什么，这些要素一旦散失，同一批数据就无法二次分析，结论的置信度无从谈起。

方法论与工具脱节：打分聚合与统计推断是两条不能混用的技术路线，模板与因子分解框架停留在文献里；工具不承载方法，方法约束就无法在过程中强制生效。

大模型引入新风险：直接把大模型接入评估流程，可能生成看似合理实则错误的指标与事件名，错误会在下游实验中被放大；生成过程不可追溯，也带来合规风险。

二、破局：瓶颈不在算力，而在组织

所以，判断效能评估的瓶颈，不在“算”，而在“组织”。

算力不是稀缺资源，方法也早有共识，真正难的是把散落在文档、经验与人工流程中的方法资产工程化。这正是我们做 UnSIM 效能评估系统的出发点。

三、UnSIM 效能评估系统

UnSIM 效能评估系统，是一套面向装备、体系作战效能评估的实验平台。

它以 AFSIM 为权威仿真底座，将从研究目标到结论报告的全套流程，固化成可复用、可复现、可审计的软件资产。从个人电脑上的概念验证，到单机小样本实验，再到内网环境下的大样本生产，同一套系统按需适配。

一句话定位就是把“评估一个体系到底行不行”，从一份份依赖个人经验的手工报告，变成一条可复现、可审计、可迭代的工程化流水线。

它的边界同样清晰：

ü 不做 AFSIM 想定编辑器，复用现有工具，只做参数化渲染与版本管理；

ü 不自研底层求解器与统计库；

ü 不做大模型训练微调，只做推理接入。

边界收敛，力气才能全部花在评估流程本身。

四、方法闭环：七个环节，一条主线

系统以“作战任务→指标体系→实验设计→批量仿真→数据采集→统计分析→结论迭代”七个环节为主线，由九大业务模块支撑，覆盖问题域、度量域、实验域、执行域、结论域全景。每一环，都在解决评估流程里的一个具体麻烦。

1. 平台底座：项目创建

一段话描述评估需求，AI 提炼背景、评估目的、约束条件三要素并回填表单，用户点击即可创建；也可以从内置案例库或手动新建，一个评估项目就此进入全生命周期管理。

项目管理页

2. 任务与研究目标：把模糊需求收敛为结构化研究目标

研究问题：被写成“因子A的变化对指标X是否有显著影响”的因果句式；

想定边界：按固定、变化、排除三分类显式化，作为后期实验设计的“变量白名单”；

维护研究要素清单：明确任务、能力、条件、性能四类因子的身份，不含取值，水平设计完全交给实验设计环节。

 任务与研究目标

3. 指标体系设计：评估质量的源头

拖拽式可视化设计器：提供节点拖动、端口拉线、框选、自动布局、撤销重做等操作；支持树/链/环/网四种体系结构：

AFSIM事件字典勾选绑定：163类事件分7域检索，勾选后按数据类型自动给出计算模板；这套事件字典同时是所有 AI 建议的事实边界，AI 禁止提出字典中不存在的事件。

全树事件一键生成输出配置块，杜绝“指标依赖的事件忘了开”；

指标最小字段集强制校验：缺字段、编码重复、孤立节点、环路实时监测；推断模式下人工打指标被拦截；

模板集成模式：支持实例化、引用、混合三种继承方式，可裁剪、可同步升级。

 指标体系设计画布

4. 大样本实验设计：解决“怎么安排试验”

实验设计模块读取上游输入的评估目的、研究问题、指标体系等成果，按“筛选→刻画→建模→寻优”的研究阶段链条进行选型，提供部分因子、正交试验、全因子、拉丁超立方、响应面 CCD 五种设计类型。控制因子与水平的取值在此模块拥有唯一编辑权威，覆盖后标记“本次覆盖”。

功效分析，给出最小重复次数建议，重复不足 20 次强制告警；

样本量规模验证，预估并行量并进行超规模告警；

随机种子计划随设计表生成，设计点表确认后可生成运行清单，并一键导出 CSV 供运行调度。

 实验设计总览

5. 批量仿真运行：把设计变成执行

仿真运行管理想定文件 $define 变量、变量文件、设计点矩阵等要素，支持从资产库选用或导入想定，去案例化、不绑死默认值。关键在于因子到想定变量的映射检查，映射缺失且水平有差异的因子会阻断进行，避免“跑了千次但因子根本没注入”的无效实验，另有想定声明事件与指标依赖事件的事件对账。

引擎支持本地多线程、分布式多节点双控制模式，具备并发调度、作业取消、故障转移、断点续跑、产物归档等能力；失败的运行可由 AI 归因初判，进一步提升效率。

 批量运行：想定三要素

6. 数据采集与聚集

运行结束后，系统按指标定义的可执行的计算式解析 AFSIM 事件流，聚成事实长表。

采集报告输出事实条数、失败运行、事件缺失三类质量问题，让问题在提交运行前暴露，而不是在千次运行后从数据里倒推。

指标依赖的事件可由 AI 按关键词匹配候选，但必须给出对应事件样例作为证据。

 数据采集：指标与采集式

7. 统计分析与推理

方法由数据类型自动决定，不随个人偏好漂移：计数、连续、比率走全因子方差分析，布尔走 Logistic 回归；

显著性之外强制给出效应量，“看 p 值也看效应量、交互显著时不能单独解释主效应”由系统提示；

结论逐条挂回研究问题，直接服务报告撰写。 

统计分析：方法分配

8. 结论与报告

输出目的与边界、指标体系、实验设计、分析结果、结论与建议五节结构报告；

演示数据强制标注“不可用于决策”，局限于假设清单必须列出未纳入因子，结论签署由人完成；

支持 Markdown 源码与渲染预览切换及导出。

 结论报告

9. 模板与资产库

AFSIM 事件字典：163 类事件分 7 域，146 类附官方文档详情与中文简介，支持自定义事件；

六套经典指标模板与选型决策路径可一键实例化为指标树；

想定作为资产支持解析预览、确认入库的两段式导入。

指标模板库

至此，九大模块、七个环节实现完整闭环与沉淀，评估不再是一次性交付，而是一轮接一轮逼近问题本质的迭代实验。

五、三大核心价值：让系统可信

如果说主线闭环解决的是“流程怎么走”，三大核心价值则验证系统的可信。

方法论资产化：六套经典指标体系模板、因子分解框架、指标最小字段集与 163 类事件字典内置于系统，模板可实例化、可裁剪、可继承。每次评估都站在已有方法资产之上，组织经验随项目积累，而不是随人员流动流失。

大样本可复现：想定哈希、指标树版本、随机种子等要素，随每次运行归档为运行清单 ；结论可逐条追溯到具体仿真运行，版本不一致的批次禁止合并分析，从机制上排除“混版本得出的假结论”；全链路操作留痕，支撑事后审计与结果仲裁。

AI 人在环路：AI 覆盖从建项到报告的全业务环节，但只产出带证据引用的草稿建议，经建议卡加确认门逐条采纳后才写入正式成果，与手动输入同权、仅来源标记不同；报告中可一键列出全部 AI 参与条目。更关键的是，未配置模型时全功能完整可用，业务链路零依赖 AI。

六、应用场景与部署形态

这套系统面向装备、体系作战实验与装备论证研究人员、仿真工程与评估体系建设者、信息化建设决策管理者，旨在加强效能评估能力建设，提升效能数据的分析效率，让数据更有用。

适用于装备论证中的方案比选与效能摸底，体系对抗实验中的大样本统计推断，A2/AD 类反介入研究的想定复刻与结论复核等典型应用场景。

离线部署优先，内置代理引擎让全链路在浏览器内闭环，涉密环境数据不出网；生产形态可平滑演进到内网大样本部署。

无论哪种场景，价值落点是一致的：把评估从“一次性的人工手艺”变成“可持续的组织能力”，让每一次实验都为下一次积累素材，让每一条结论都有据可查。