去年冬天,一位在华东某制造企业工作了 20 年的 SAP 顾问老张退休了。他带走的不只是一张工牌——还有整套 ECC 系统中上百支 ABAP 程序的"活地图":哪段代码曾经在半夜三点修过一个诡异的税码 bug,哪个 RFC 接口连着金税系统的哪一层认证,哪些 Z 表的字段名虽然叫 SGTXT 但实际上存的是发票备注。
这些知识没有写在任何文档里。现在,它们消失了。
老张的故事并非个例。SAP 无处不在——全球超过 77% 的交易收入流经 SAP 系统,财富 500 强中有 87% 在使用。SAP 已宣布 ECC(Business Suite 7)将于 2027 年底终止主流维护,扩展维护可延到 2030 年底(SAP 官方)。仍在 ECC 上的企业,迟早都要面对向 S/4HANA 迁移这件事。
为什么 SAP 迁移与一般代码迁移不同
如果你做过 Web 应用的框架升级,你可能会觉得"代码迁移不就那么回事"。但 SAP 迁移是完全不同的物种。你不只是将熟悉的代码更新到更好的模式——你是在逆向工程一套融合了财务、供应链、人力资源和税务合规的复杂业务系统。
代码是活的文档,而读懂这份文档的人已经不在了。
以往的解决办法是组建庞大的顾问团队,花费数月甚至数年梳理工作流。但成本让大多数企业望而却步——于是系统就这么一年又一年地"再等等"。
AI 正在改变这一切。 但具体能改变到什么程度?光靠想象没用,我们决定用数据来回答。
ABAP-Bench 测什么
通用编程基准通常关注代码生成或 GitHub 问题修复。ABAP-Bench 将输入限定到 SAP 场景,例如读懂遗留程序、提出 S/4HANA 改写、评估迁移风险。
题集要求回答能落到对象、字段或实施步骤,再用规则与参考答案评分。下文先给出口径和复验步骤,再看首轮 GLM‑5 的结果。
实验口径与复现
ABAP-Bench 用受控的 SAP 场景测试模型能否给出具体、可核对的迁移建议。这里复查的是 2026 年 4 月公开归档的 9 个模型。拿到留存回答后,可以对分数逐题复算。
- 测试范围
- 60 题 · 9 维度
- 完整测试分母
- 1,200 原始分
- 本次离线复评分
- 540 / 540 条一致
样本和分母
固定题集为 T01–T60,每题 20 分。前八个维度各 6 题,满分各 120;现代生态 12 题,满分 240,所以它占总分的 20%。题目以中文为主,以 SAP 迁移场景和构造的代码样例为输入。逐题归属和提示以归档中的 任务清单为准。
题集、评分器与归档版本
| 对象 | 口径 |
|---|---|
| 历史实测 · 题集 v4.0 | 每个模型每题留存一条回答。三层评分,Rubric 40%、规则化质量 30%、参考答案覆盖 30%。本页 GLM‑5 的 61 分来自这一批。 |
| 公开冻结版 · Git 标签 v1.0.0 | 该提交把 60 题、评分器与 9 个模型的回答放在一起;本页用它重算。较早的 Git 标签 v4.0.0 与题集版本相近,那个提交没有这批逐题结果。 |
| 可选 LLM 裁判与后续代码 | 启用裁判时四层分别为 Rubric 30%、规则化质量 20%、参考答案覆盖 20%、裁判 30%。归档跑分使用三层。后续主分支另给部分代码题加了 abaplint 静态检查,可能改变质量分。 |
评分器将 Rubric 分除以本题满分,再与两项 0–1 分数加权。参考答案层由词项相似度(BM25)和关键概念覆盖组成。加权结果乘以 20、取整并限制在 0–20。总分先加总逐题原始分,再除以 1,200 并转成百分制整数;各维度用各自分母。冻结评分器 · abaplint 变更
模型调用与比较边界
GLM‑5 的档案记录为 2026‑04‑03(UTC)、智谱 API、模型 ID glm-5,令牌上限 8,000。历史报告与冻结客户端均使用 temperature 0.1,每题只留存一次采样。供应商可能更新权重或路由,重复调用仍会生成新样本。同批归档中 GLM‑4‑Plus 的令牌上限是 4,000,后端也因模型而异,解读模型差距时要把这些条件一起看。冻结模型配置
运行器将 API 失败记为 0 分并保留错误字段。此批 9 份公开归档均含 60 条、无 API 错误。重跑时单列成功、失败、缺失题数,核对分母以后再比较。另有站内 12 模型历史展示榜,本次复评分只覆盖公开仓库里能逐题追溯的 9 模型归档。逐题归档 · 运行器
重评分数
用 Git 和 Python 3.9+。本次验证用 Python 3.9.6。先把 复评分脚本下载到工作目录,按以下顺序执行。
git clone --depth 1 --branch v1.0.0 https://github.com/fxp/abap-bench.git
python3 replay_scores.py ./abap-bench
脚本核对冻结提交、题目 ID 和每题分母,从公开 JSON 读回答,用默认三层评分重算。不需要 API Key 或 SAP 环境。预期输出为 540 条一致、0 条差异,GLM‑5 为 733/1200(页面显示 61/100)。查看本次实际输出
另起一次模型采样
先先用 dry run 核对输出中的 60 题、zhipuai、8,000 tokens 和 300 秒超时。实际采样需在独立副本中设置 ZHIPUAI_API_KEY,再执行下方第二条 Python 命令。当前模型服务会产生新样本,结果写入该副本的 results/v4.0/。保留模型 ID、提供方、采样日期、提示与题集版本、令牌上限、重试和失败记录,单独报告。
cd abap-bench
python3 -m src.run_benchmark --model glm-5 --dry-run
python3 -m src.run_benchmark --model glm-5
结果有什么用,边界在哪里
这批分数适合定位模型在一组固定 SAP 问题上的强弱。八个维度各只有 6 题,而且每题只采样一次。几分的差距不足以单独支持稳定排名,本轮也未建立人工或现行工作流基线。构造样例和版本化题目能限定上下文;题目与参考答案都已公开,尚无法据此排除训练污染。已知的季度换题方案属于维护设计,实际复验以固定题集为准。
评分近似专家审阅,当前证据没有给出独立人工一致性结果。本轮也没有在 SAP 系统中编译或执行业务测试。CDS 改写、合规或性能建议要进入生产判断,还要在目标版本、权限和实际数据上验证。
首次实测:GLM-5
2026 年 4 月 3 日,智谱 API 的 GLM‑5 对 60 道题各生成一条留存回答。下面的图表按逐题记录汇总。模型配置和复验步骤见上文方法。
先猜一猜:GLM-5 能拿多少分?
60 道 SAP 专家级题目,满分 100
GLM‑5 首轮成绩 61 / 100
GLM‑5 的原始分是 733/1,200。60 题的记录合计 8,670.52 秒、290,408 tokens。时间卡片以分钟显示逐题耗时之和。
查看九维度原始分与分母
| 维度 | 原始分 | 满分 | 比例 |
|---|---|---|---|
| 代码迁移 | 69 | 120 | 57.5% |
| 缺陷发现 | 65 | 120 | 54.2% |
| 代码改写 | 69 | 120 | 57.5% |
| 中国合规 | 81 | 120 | 67.5% |
| 迁移风险 | 77 | 120 | 64.2% |
| 安全与权限 | 76 | 120 | 63.3% |
| 架构 | 77 | 120 | 64.2% |
| 性能 | 67 | 120 | 55.8% |
| 现代生态 | 152 | 240 | 63.3% |
| 总计 | 733 | 1,200 | 61.1% |
采用逐题记录汇总。旧版 JSON 的 summary 将缺陷发现记为 59/120,并将耗时和 tokens 记为 8,223.17 秒和 283,552。逐题记录分别为 65/120、8,670.52 秒和 290,408,总分仍为 733。GLM‑5 原始记录 · 差异复核
你能找到这个 ABAP bug 吗?—— 第一个 LOOP AT gt_bkpf INTO DATA(ls_bkpf) 循环结束后,ls_bkpf 的值会是什么?
DATA() 内联声明变量在循环结束后仍然存在,保留最后一次迭代的值。GLM-5 正确识别了这个 bug,并指出会导致"所有发票的红冲/正常状态判断完全错误"。这是评测中最惊喜的发现之一。
令人惊喜的时刻
CDS 改写覆盖了关键评分项
T03 · 16/20* ECC: N+1 query anti-pattern SELECT * FROM bkpf INTO TABLE @DATA(lt_bkpf) WHERE bukrs = @p_bukrs AND gjahr = @p_gjahr. LOOP AT lt_bkpf INTO DATA(ls_bkpf). SELECT * FROM bseg INTO TABLE @DATA(lt_bseg) WHERE bukrs = @ls_bkpf-bukrs AND belnr = @ls_bkpf-belnr AND gjahr = @ls_bkpf-gjahr. ENDLOOP.
* 对照示例:CDS 视图 JOIN SELECT j~CompanyCode, j~AccountingDocument, j~FiscalYear, i~AccountingDocumentItem, i~GLAccount, i~AmountInCompanyCodeCurrency FROM I_JournalEntry AS j INNER JOIN I_JournalEntryItem AS i ON j~CompanyCode = i~CompanyCode AND j~AccountingDocument = i~AccountingDocument AND j~FiscalYear = i~FiscalYear WHERE j~CompanyCode = @p_bukrs AND j~FiscalYear = @p_gjahr INTO TABLE @DATA(lt_result).
T03 的回答使用 CDS 视图连接、字段映射与内联声明。上面的代码是便于对照的改写示例。本题 Rubric 是 20/20,加权总分为 16/20。
定位了循环后的变量残值
T02 · 11/20T02 的场景是增值税发票处理。GLM‑5 指出了循环结束后 ls_bkpf 保留旧值带来的判断偏差。
本题自动评分为 11/20,其中 Rubric 为 16/20。
中国合规的一次高分回答
T16 · 17/20T16 涉及 SAP 中国本地化和工资处理,GLM‑5 在 Rubric 和结构评分中均得满分。
17/20 是这一轮 60 道题中的最高分。
迁移风险清单覆盖多个关键项
T43 · 16/20T43 给定一个 800 张自定义表的 ECC 场景。回答覆盖了表类型、兼容性检查和 ABAP Test Cockpit 等要点。
本题 16/20,记录的调用耗时为 242.66 秒。
GLM-5 在哪个维度得分最低?
值得关注的局限
两道改写题的分差
16 vs 5经典 CDS 改写 T03 为 16/20,RAP EML 改写 T37 为 5/20。
T37 的 Rubric 为 0/20。这组两题对照适合从逐项评分追查差异。
缺陷发现只有六题
65/120六道缺陷发现题总计 65/120(54.2%),是本轮最低维度。
可以从归档的逐题回答及 Rubric 命中明细进一步检查失分。
两道题的耗时和评分
155s → 17分 447s → 6分60 题平均记录耗时约 145 秒。T16 得 17/20,用时 155.13 秒;T36 得 6/20,用时 447.35 秒。两题内容不同,这组数据只能做个例对照。
怎样使用这批结果
可拿来审阅的输出
- 迁移前风险评估与路线图初稿
- 中国本土化合规梳理
- 架构方案讨论(FI-CO / ACDOCA / CDS)
- 经典场景的代码改写
需要目标环境验证
- 前沿编程范式的生产级代码
- 深层缺陷的最终确认
- 性能优化的落地实施
把高分回答作为候选清单,复核对象、字段、适用版本和业务条件。若要估计项目收益,应记录顾问独立作答和协作作答的耗时、质量与返工。
下一步怎样验证
本轮分数可以复算。下一轮可在新题上重复采样,请 SAP 顾问独立复核,再把代码题接入指定 S/4HANA 环境的检查与业务测试。把这些结果与自动分数一起报告,才有依据评估跨版本稳定性和上线风险。