用 Batch API
自动优化机器学习算法

给 LLM 一个训练脚本和当前最优指标,让它自主提出改进方案、生成完整代码;框架自动跑实验、选出最优、喂回下一轮。如此循环,模型在无人干预下持续进化。

LLM 调用走 Batch API:把一批候选请求异步打包提交、等待返回、收集结果,享 5 折成本与批量处理窗口,天然契合这种非实时的优化循环——一次提交 K 个方向,而非串行试错。

# Population-based Batch 优化循环
for round in range(N):
    requests   = planner.build(best_code, K)   # K个候选请求
    batch_id   = provider.submit(requests)      # Batch API 异步提交
    responses  = provider.poll(batch_id)        # 等待批量返回
    candidates = sanitize(ast_validate(responses)) # 安全+环境适配
    results    = run_all(candidates)            # 跑实验
    best_code  = select_best(results)           # 选最优 → 下一轮

训练脚本只需一行协议:print(f"ARB_METRIC: {acc:.4f}")

Kaggle 经典 10 类图像分类。公平 baseline:充分训练的 3 层 CNN,val_acc 0.7579(非 smoke-test)。通过 Batch API 生成 4 个候选,GPU 上跑。

100 类,比 CIFAR-10 难得多,真正需要 GPU。公平 baseline:充分训练的 4 层 CNN,在云端 Tesla T4 上实测 0.4633。通过 Batch API 生成一轮 6 个候选方向,T4 上跑。

必须诚实面对一个问题:Batch API 单独省的钱,是小头。一个优化任务的成本由两块构成——LLM 生成候选代码、GPU 训练实验。Batch API 只打折前者,而后者才是大头。

图 · 单轮成本结构(CIFAR-100 一轮 8 候选,真实量级)

GPU 训练成本 ≈ LLM 调用的 10 倍。Batch API 把 5 折打在占比最小的那块上,省下约 ¥1,仅占总成本 ~5%。

三个真正的省钱杠杆

什么时候真划算

图 A · 同一批候选的训练耗时(真实数据,T4)

⚠ c2 = LLM 自设 50 epochs(38 分钟)。单轮总耗时 ≈ 6 个候选之和,被这一个重候选主导。候选越宽(K 越大),含一个重候选的概率越高,全量训练的代价就越失控。

图 B · 解法 · 两阶段筛选:先短 epoch 筛全部,再全量训 Top-2

下一步:

• CIFAR-100 多轮迭代(组合 ResNet+增强+调度,目标 0.6+)
• 启用两阶段筛选,把单轮成本压到 1/3
• 用 Batch API 5 折成本跑大规模过夜实验,验证成本优势
• 接入自适应调度,对齐夜间处理窗口