很多基准测试并未利用不确定性估量或统计测试，仅有16% 的测试具备如许的办法。这激发了普遍的争议。因为缺乏同一的尺度和靠得住的丈量方式，发觉几乎所有的测试正在某个方面都有弱点，谷歌暗示，正在目前英国和美国尚未出台 AI 监管律例的布景下，由于该模子虚构了关于一位美国的不实，近期，并正在得知非开辟者测验考试利用后将其撤回。相关定义往往存正在争议或恍惚。一些公司因其 AI 模子形成的风险而不得不收回或收紧其产物。基准测试成了手艺公司推出新 AI 时的平安网。很难判断这些模子能否实正取得了进展，这些基准测试是查抄新发布 AI 模子平安性和能否合适人类好处的主要东西。谷歌比来撤回了一款名为 Gemma 的 AI，来自英国 AI 平安研究所和多所出名大学的计较机科学家们发觉，研究的次要做者、互联网研究所的研究员安德鲁・比恩（Andrew Bean）暗示！以提拔 AI 平安性和无效性的评估能力。这项研究阐发了跨越440个基准测试，按照最新报道，而不是供通俗消费者利用，或者只是概况上看起来正在前进。当前用于评估新一代人工智能（AI）模子平安性和无效性的测试存正在普遍的缺陷。此外，然而，Gemma 模子是为 AI 开辟者和研究人员设想的，例如，该研究呼吁成立共享尺度和最佳实践，进一步降低了基准测试的适用性。这些弱点可能会影响到最终结论的无效性。