跳到正文
← DeepDive 实验与文化 · v3 更新于 2026-11-19 EN
← 研究RE · 0001 · 2026-05-09
AB
AI for Enterprise Software · Research

当 AI 坐上
SAP 顾问的位子

ABAP-Bench 用 60 道 SAP 迁移任务测试模型。我们回到公开归档,逐题复验评分,再看 GLM‑5 的 61 分能说明什么。

数据归档 · 2026 年 4 月 题集 v4.0
摘要

ABAP-Bench 衡量模型能否针对 SAP 遗留系统给出具体的分析、改写和迁移建议。这次复验固定 60 道题与公开评分器,覆盖 9 个模型。

去年冬天,一位在华东某制造企业工作了 20 年的 SAP 顾问老张退休了。他带走的不只是一张工牌——还有整套 ECC 系统中上百支 ABAP 程序的"活地图":哪段代码曾经在半夜三点修过一个诡异的税码 bug,哪个 RFC 接口连着金税系统的哪一层认证,哪些 Z 表的字段名虽然叫 SGTXT 但实际上存的是发票备注。

这些知识没有写在任何文档里。现在,它们消失了。

老张的故事并非个例。SAP 无处不在——全球超过 77% 的交易收入流经 SAP 系统,财富 500 强中有 87% 在使用。SAP 已宣布 ECC(Business Suite 7)将于 2027 年底终止主流维护,扩展维护可延到 2030 年底(SAP 官方)。仍在 ECC 上的企业,迟早都要面对向 S/4HANA 迁移这件事。

像老张这样理解这些系统的人,正在一个接一个地离开。
· · ·
01

为什么 SAP 迁移与一般代码迁移不同

如果你做过 Web 应用的框架升级,你可能会觉得"代码迁移不就那么回事"。但 SAP 迁移是完全不同的物种。你不只是将熟悉的代码更新到更好的模式——你是在逆向工程一套融合了财务、供应链、人力资源和税务合规的复杂业务系统。

代码是活的文档,而读懂这份文档的人已经不在了。

以往的解决办法是组建庞大的顾问团队,花费数月甚至数年梳理工作流。但成本让大多数企业望而却步——于是系统就这么一年又一年地"再等等"。

AI 正在改变这一切。 但具体能改变到什么程度?光靠想象没用,我们决定用数据来回答。

· · ·
02

ABAP-Bench 测什么

通用编程基准通常关注代码生成或 GitHub 问题修复。ABAP-Bench 将输入限定到 SAP 场景,例如读懂遗留程序、提出 S/4HANA 改写、评估迁移风险。

题集要求回答能落到对象、字段或实施步骤,再用规则与参考答案评分。下文先给出口径和复验步骤,再看首轮 GLM‑5 的结果。

· · ·
03

实验口径与复现

ABAP-Bench 用受控的 SAP 场景测试模型能否给出具体、可核对的迁移建议。这里复查的是 2026 年 4 月公开归档的 9 个模型。拿到留存回答后,可以对分数逐题复算。

测试范围
60 题 · 9 维度
完整测试分母
1,200 原始分
本次离线复评分
540 / 540 条一致

样本和分母

固定题集为 T01–T60,每题 20 分。前八个维度各 6 题,满分各 120;现代生态 12 题,满分 240,所以它占总分的 20%。题目以中文为主,以 SAP 迁移场景和构造的代码样例为输入。逐题归属和提示以归档中的 任务清单为准。

题集、评分器与归档版本

对象口径
历史实测 · 题集 v4.0每个模型每题留存一条回答。三层评分,Rubric 40%、规则化质量 30%、参考答案覆盖 30%。本页 GLM‑5 的 61 分来自这一批。
公开冻结版 · Git 标签 v1.0.0该提交把 60 题、评分器与 9 个模型的回答放在一起;本页用它重算。较早的 Git 标签 v4.0.0 与题集版本相近,那个提交没有这批逐题结果。
可选 LLM 裁判与后续代码启用裁判时四层分别为 Rubric 30%、规则化质量 20%、参考答案覆盖 20%、裁判 30%。归档跑分使用三层。后续主分支另给部分代码题加了 abaplint 静态检查,可能改变质量分。

评分器将 Rubric 分除以本题满分,再与两项 0–1 分数加权。参考答案层由词项相似度(BM25)和关键概念覆盖组成。加权结果乘以 20、取整并限制在 0–20。总分先加总逐题原始分,再除以 1,200 并转成百分制整数;各维度用各自分母。冻结评分器 · abaplint 变更

模型调用与比较边界

GLM‑5 的档案记录为 2026‑04‑03(UTC)、智谱 API、模型 ID glm-5,令牌上限 8,000。历史报告与冻结客户端均使用 temperature 0.1,每题只留存一次采样。供应商可能更新权重或路由,重复调用仍会生成新样本。同批归档中 GLM‑4‑Plus 的令牌上限是 4,000,后端也因模型而异,解读模型差距时要把这些条件一起看。冻结模型配置

运行器将 API 失败记为 0 分并保留错误字段。此批 9 份公开归档均含 60 条、无 API 错误。重跑时单列成功、失败、缺失题数,核对分母以后再比较。另有站内 12 模型历史展示榜,本次复评分只覆盖公开仓库里能逐题追溯的 9 模型归档。逐题归档 · 运行器

重评分数

用 Git 和 Python 3.9+。本次验证用 Python 3.9.6。先把 复评分脚本下载到工作目录,按以下顺序执行。

git clone --depth 1 --branch v1.0.0 https://github.com/fxp/abap-bench.git
python3 replay_scores.py ./abap-bench

脚本核对冻结提交、题目 ID 和每题分母,从公开 JSON 读回答,用默认三层评分重算。不需要 API Key 或 SAP 环境。预期输出为 540 条一致、0 条差异,GLM‑5 为 733/1200(页面显示 61/100)。查看本次实际输出

另起一次模型采样

先先用 dry run 核对输出中的 60 题、zhipuai、8,000 tokens 和 300 秒超时。实际采样需在独立副本中设置 ZHIPUAI_API_KEY,再执行下方第二条 Python 命令。当前模型服务会产生新样本,结果写入该副本的 results/v4.0/。保留模型 ID、提供方、采样日期、提示与题集版本、令牌上限、重试和失败记录,单独报告。

cd abap-bench
python3 -m src.run_benchmark --model glm-5 --dry-run
python3 -m src.run_benchmark --model glm-5

结果有什么用,边界在哪里

这批分数适合定位模型在一组固定 SAP 问题上的强弱。八个维度各只有 6 题,而且每题只采样一次。几分的差距不足以单独支持稳定排名,本轮也未建立人工或现行工作流基线。构造样例和版本化题目能限定上下文;题目与参考答案都已公开,尚无法据此排除训练污染。已知的季度换题方案属于维护设计,实际复验以固定题集为准。

评分近似专家审阅,当前证据没有给出独立人工一致性结果。本轮也没有在 SAP 系统中编译或执行业务测试。CDS 改写、合规或性能建议要进入生产判断,还要在目标版本、权限和实际数据上验证。

· · ·
04

首次实测:GLM-5

2026 年 4 月 3 日,智谱 API 的 GLM‑5 对 60 道题各生成一条留存回答。下面的图表按逐题记录汇总。模型配置和复验步骤见上文方法。

先猜一猜:GLM-5 能拿多少分?

60 道 SAP 专家级题目,满分 100

50
· · ·
05

GLM‑5 首轮成绩 61 / 100

0 /100
总分
0%
最高维度
0 min
逐题耗时合计
0
令牌合计

GLM‑5 的原始分是 733/1,200。60 题的记录合计 8,670.52 秒、290,408 tokens。时间卡片以分钟显示逐题耗时之和。

最高 中国合规 67.5%
并列第二 迁移风险、架构 64.2%
中位 安全与权限、现代生态约 63.3%
最低 缺陷发现 54.2%
图 1 · GLM‑5 九维度得分(按各维度满分归一化)
查看九维度原始分与分母
维度原始分满分比例
代码迁移6912057.5%
缺陷发现6512054.2%
代码改写6912057.5%
中国合规8112067.5%
迁移风险7712064.2%
安全与权限7612063.3%
架构7712064.2%
性能6712055.8%
现代生态15224063.3%
总计7331,20061.1%

采用逐题记录汇总。旧版 JSON 的 summary 将缺陷发现记为 59/120,并将耗时和 tokens 记为 8,223.17 秒和 283,552。逐题记录分别为 65/120、8,670.52 秒和 290,408,总分仍为 733。GLM‑5 原始记录 · 差异复核

Interactive

你能找到这个 ABAP bug 吗?—— 第一个 LOOP AT gt_bkpf INTO DATA(ls_bkpf) 循环结束后,ls_bkpf 的值会是什么?

Correct. ABAP 的 DATA() 内联声明变量在循环结束后仍然存在,保留最后一次迭代的值。GLM-5 正确识别了这个 bug,并指出会导致"所有发票的红冲/正常状态判断完全错误"。这是评测中最惊喜的发现之一。

令人惊喜的时刻

1

CDS 改写覆盖了关键评分项

T03 · 16/20
* ECC: N+1 query anti-pattern
SELECT * FROM bkpf INTO TABLE @DATA(lt_bkpf)
  WHERE bukrs = @p_bukrs AND gjahr = @p_gjahr.
LOOP AT lt_bkpf INTO DATA(ls_bkpf).
  SELECT * FROM bseg INTO TABLE @DATA(lt_bseg)
    WHERE bukrs = @ls_bkpf-bukrs
      AND belnr = @ls_bkpf-belnr
      AND gjahr = @ls_bkpf-gjahr.
ENDLOOP.
* 对照示例:CDS 视图 JOIN
SELECT
  j~CompanyCode,
  j~AccountingDocument,
  j~FiscalYear,
  i~AccountingDocumentItem,
  i~GLAccount,
  i~AmountInCompanyCodeCurrency
FROM I_JournalEntry AS j
  INNER JOIN I_JournalEntryItem AS i
    ON j~CompanyCode = i~CompanyCode
   AND j~AccountingDocument = i~AccountingDocument
   AND j~FiscalYear = i~FiscalYear
WHERE j~CompanyCode = @p_bukrs
  AND j~FiscalYear = @p_gjahr
INTO TABLE @DATA(lt_result).

T03 的回答使用 CDS 视图连接、字段映射与内联声明。上面的代码是便于对照的改写示例。本题 Rubric 是 20/20,加权总分为 16/20。

2

定位了循环后的变量残值

T02 · 11/20

T02 的场景是增值税发票处理。GLM‑5 指出了循环结束后 ls_bkpf 保留旧值带来的判断偏差。

本题自动评分为 11/20,其中 Rubric 为 16/20。

3

中国合规的一次高分回答

T16 · 17/20

T16 涉及 SAP 中国本地化和工资处理,GLM‑5 在 Rubric 和结构评分中均得满分。

17/20 是这一轮 60 道题中的最高分。

4

迁移风险清单覆盖多个关键项

T43 · 16/20

T43 给定一个 800 张自定义表的 ECC 场景。回答覆盖了表类型、兼容性检查和 ABAP Test Cockpit 等要点。

本题 16/20,记录的调用耗时为 242.66 秒。

Interactive

GLM-5 在哪个维度得分最低?

正确。 缺陷发现六题得 65/120(54.2%),是 GLM‑5 在本轮最低的维度。

值得关注的局限

1

两道改写题的分差

16 vs 5

经典 CDS 改写 T03 为 16/20,RAP EML 改写 T37 为 5/20。

T37 的 Rubric 为 0/20。这组两题对照适合从逐项评分追查差异。

2

缺陷发现只有六题

65/120

六道缺陷发现题总计 65/120(54.2%),是本轮最低维度。

可以从归档的逐题回答及 Rubric 命中明细进一步检查失分。

3

两道题的耗时和评分

155s → 17分   447s → 6分

60 题平均记录耗时约 145 秒。T16 得 17/20,用时 155.13 秒;T36 得 6/20,用时 447.35 秒。两题内容不同,这组数据只能做个例对照。

· · ·
06

怎样使用这批结果

可拿来审阅的输出

  • 迁移前风险评估与路线图初稿
  • 中国本土化合规梳理
  • 架构方案讨论(FI-CO / ACDOCA / CDS)
  • 经典场景的代码改写

需要目标环境验证

  • 前沿编程范式的生产级代码
  • 深层缺陷的最终确认
  • 性能优化的落地实施

把高分回答作为候选清单,复核对象、字段、适用版本和业务条件。若要估计项目收益,应记录顾问独立作答和协作作答的耗时、质量与返工。

· · ·
07

下一步怎样验证

本轮分数可以复算。下一轮可在新题上重复采样,请 SAP 顾问独立复核,再把代码题接入指定 S/4HANA 环境的检查与业务测试。把这些结果与自动分数一起报告,才有依据评估跨版本稳定性和上线风险。

Appendix

评测时间线

GLM‑5 历史实测
2026-04-03 · 60 题 · 733/1,200
本次离线复评分
2026-11-19 · 540 条逐题一致

完整评测数据和评分引擎已开源

github.com/fxp/abap-bench

查看 v2.0 历史展示榜(12 个模型)

更新记录

共 3 个版本
  1. v3 固定公开题集与评分提交,逐题核对 9 个模型的 540 条回答,修正 GLM‑5 维度分和耗时口径,补齐复评分脚本与证据边界。 看 v3
  2. v2 删除“480 亿美元迁移市场”和“数十万家企业”两处查不到可靠出处的数字,改为 SAP 官方的 ECC 维护时间表(主流维护到 2027 年底,扩展维护到 2030 年底);中英文同步 看 v2
  3. v1 回填结构化元数据(历史条目补齐 index.meta.json) 看 v1

配套资源