Harrison Chase：评估驱动开发与古德哈特定律
中文全文 · AI 翻译
这个观点很好。
古德哈特定律：当一个衡量指标成为目标时，它就不再是一个好的衡量指标。
初步看法：评估驱动开发适用于范围明确且较窄的任务，但对自主程度更高的智能体并不适用。
那么，要怎样对这些智能体进行爬山式迭代优化呢？
对照原文
This is great point Goodharts law: when a measure becomes a target, it ceases to be a good measure Initial take: eval driven development works for narrowly scoped things, but for more autonomous agents it doesn’t So then - how do you hill climb those?