Artificial Analysis AI 趋势

我们使用项目反应理论计算 Artificial Analysis Progress Index v1，根据我们的基准测试结果，同时估计模型能力和任务难度。这使我们能够比较在不同基准上评估的模型，观察能力随时间的变化。

我们根据哪些模型成功完成任务、哪些模型未能完成任务来估计任务难度，同时根据各模型在不同任务上的结果来估计其能力。

例如，较早的模型可能在较简单的基准上接受评估，而较新的模型可能在较难的基准上接受评估。在两组基准上都接受过评估的模型，可以帮助我们估计难度差异，并在同一尺度上比较新旧模型。

每个实验室的曲线展示该实验室在各个时间点可用的模型中得分最高的模型，并采用每个模型在不同 effort 设置下得分最高的变体。阅读 Progress Index v1 方法说明。

我们使用项目反应理论计算 Artificial Analysis Progress Index v1，根据我们的基准测试结果，同时估计模型能力和任务难度。这使我们能够比较在不同基准上评估的模型，观察能力随时间的变化。

我们根据哪些模型成功完成任务、哪些模型未能完成任务来估计任务难度，同时根据各模型在不同任务上的结果来估计其能力。

例如，较早的模型可能在较简单的基准上接受评估，而较新的模型可能在较难的基准上接受评估。在两组基准上都接受过评估的模型，可以帮助我们估计难度差异，并在同一尺度上比较新旧模型。

对于每个模型，我们展示不同 effort 设置中得分最高的变体。阅读 Progress Index v1 方法说明。

我们使用项目反应理论计算 Artificial Analysis Progress Index v1，根据我们的基准测试结果，同时估计模型能力和任务难度。这使我们能够比较在不同基准上评估的模型，观察能力随时间的变化。

我们根据哪些模型成功完成任务、哪些模型未能完成任务来估计任务难度，同时根据各模型在不同任务上的结果来估计其能力。

例如，较早的模型可能在较简单的基准上接受评估，而较新的模型可能在较难的基准上接受评估。在两组基准上都接受过评估的模型，可以帮助我们估计难度差异，并在同一尺度上比较新旧模型。

每条线展示在所有达到或超过其 Progress Index v1 阈值的 effort 变体中，随时间推移达到的每项 Intelligence Index 任务的最低成本。阅读 Progress Index v1 方法说明。

我们使用项目反应理论计算 Artificial Analysis Progress Index v1，根据我们的基准测试结果，同时估计模型能力和任务难度。这使我们能够比较在不同基准上评估的模型，观察能力随时间的变化。

我们根据哪些模型成功完成任务、哪些模型未能完成任务来估计任务难度，同时根据各模型在不同任务上的结果来估计其能力。

例如，较早的模型可能在较简单的基准上接受评估，而较新的模型可能在较难的基准上接受评估。在两组基准上都接受过评估的模型，可以帮助我们估计难度差异，并在同一尺度上比较新旧模型。

每条线展示在所有达到或超过其 Progress Index v1 阈值的 effort 变体中，随时间推移达到的最低输出价格。阅读 Progress Index v1 方法说明。

我们使用项目反应理论计算 Artificial Analysis Progress Index v1，根据我们的基准测试结果，同时估计模型能力和任务难度。这使我们能够比较在不同基准上评估的模型，观察能力随时间的变化。

我们根据哪些模型成功完成任务、哪些模型未能完成任务来估计任务难度，同时根据各模型在不同任务上的结果来估计其能力。

例如，较早的模型可能在较简单的基准上接受评估，而较新的模型可能在较难的基准上接受评估。在两组基准上都接受过评估的模型，可以帮助我们估计难度差异，并在同一尺度上比较新旧模型。

每条线展示在所有达到或超过其 Progress Index v1 阈值的 effort 变体中，随时间推移达到的最高输出速度。阅读 Progress Index v1 方法说明。

我们使用项目反应理论计算 Artificial Analysis Progress Index v1，根据我们的基准测试结果，同时估计模型能力和任务难度。这使我们能够比较在不同基准上评估的模型，观察能力随时间的变化。

我们根据哪些模型成功完成任务、哪些模型未能完成任务来估计任务难度，同时根据各模型在不同任务上的结果来估计其能力。

例如，较早的模型可能在较简单的基准上接受评估，而较新的模型可能在较难的基准上接受评估。在两组基准上都接受过评估的模型，可以帮助我们估计难度差异，并在同一尺度上比较新旧模型。

每个国家的曲线展示该国在各个时间点可用的模型中得分最高的模型，并采用每个模型在不同 effort 设置下得分最高的变体。阅读 Progress Index v1 方法说明。

我们使用项目反应理论计算 Artificial Analysis Progress Index v1，根据我们的基准测试结果，同时估计模型能力和任务难度。这使我们能够比较在不同基准上评估的模型，观察能力随时间的变化。

我们根据哪些模型成功完成任务、哪些模型未能完成任务来估计任务难度，同时根据各模型在不同任务上的结果来估计其能力。

例如，较早的模型可能在较简单的基准上接受评估，而较新的模型可能在较难的基准上接受评估。在两组基准上都接受过评估的模型，可以帮助我们估计难度差异，并在同一尺度上比较新旧模型。

每个国家的曲线展示该国在各个时间点可用的开放权重模型中得分最高的模型，并采用每个模型在不同 effort 设置下得分最高的变体。阅读 Progress Index v1 方法说明。

我们使用项目反应理论计算 Artificial Analysis Progress Index v1，根据我们的基准测试结果，同时估计模型能力和任务难度。这使我们能够比较在不同基准上评估的模型，观察能力随时间的变化。

我们根据哪些模型成功完成任务、哪些模型未能完成任务来估计任务难度，同时根据各模型在不同任务上的结果来估计其能力。

例如，较早的模型可能在较简单的基准上接受评估，而较新的模型可能在较难的基准上接受评估。在两组基准上都接受过评估的模型，可以帮助我们估计难度差异，并在同一尺度上比较新旧模型。

每条曲线展示对应许可类别在各个时间点可用的模型中得分最高的模型，并采用每个模型在不同 effort 设置下得分最高的变体。阅读 Progress Index v1 方法说明。

我们使用项目反应理论计算 Artificial Analysis Progress Index v1，根据我们的基准测试结果，同时估计模型能力和任务难度。这使我们能够比较在不同基准上评估的模型，观察能力随时间的变化。

我们根据哪些模型成功完成任务、哪些模型未能完成任务来估计任务难度，同时根据各模型在不同任务上的结果来估计其能力。

例如，较早的模型可能在较简单的基准上接受评估，而较新的模型可能在较难的基准上接受评估。在两组基准上都接受过评估的模型，可以帮助我们估计难度差异，并在同一尺度上比较新旧模型。

对于每个模型，我们展示不同 effort 设置中得分最高的变体。阅读 Progress Index v1 方法说明。