已发表的随机试验方案中的估计:迫切需要改进

背景

评估是对从试验(问题)中估计的治疗效果的精确描述，与统计分析方法(如何回答问题)不同。最近发布的ICH E9(R1)关于在2019年临床试验中使用估计的附录为使用估计来改进试验研究和报告的潜在用途提供了支持。我们开始评估在已发表的试验方案中对估计的描述有多好。

方法

我们回顾了2020年10月发表的50个试验方案试用而且BMJ开放．对于每个方案，我们确定主要结果的估计值是否明确声明、未声明但可推断(即可以从给定的信息构建)或不可推断。

结果

50项试验中没有一项明确描述主要结果的估计值，74%的试验不可能从方案中包含的信息推断估计值。在36%的试验中无法推断估计值的人群属性，在20%的试验中无法推断治疗条件属性，在34%的试验中无法推断人群水平的总结测量，在60%的试验中无法推断并发事件的处理(在32%的方案中无法推断处理非依从性的策略，在80%适用的方案中无法推断处理死亡率的策略)。相反，所有试验都声明了结果属性。在28%的试验中，五个估计属性中有三个或更多无法推断。

结论

在已发表的试验方案中，对估计值的描述很差，而且在大多数试验中，不可能确切地了解所估计的治疗效果。鉴于估计在改善临床研究和报告方面的效用，这种情况迫切需要改变。

最近一项评估卡巴他赛在转移性前列腺癌患者中的使用的试验发现，根据EQ-5D评估，它显著改善了生活质量(估计平均差值0.08)[1］．然而，读者可能会惊讶地发现，这种效果并不代表他们可能期望的效果，即如果将卡巴他赛作为常规治疗的一部分，那么预期的效果并不会达到。相反，它是在假设转移性前列腺癌患者从未经历疾病进展或死亡的情况下，预期治疗效果的估计值。这是由于研究方法的一个奇怪之处:首先，研究人员在患者经历疾病进展后停止收集生活质量数据，因此进展后的数据被设置为缺失(死亡患者的数据也是如此)，其次，他们随后使用重复测量混合模型分析了可用数据，该模型隐含地推测了如果患者活着且没有进展，缺失的数据将会是什么[2］．

虽然了解一种新的癌症治疗方法在假设患者永远不会死亡或经历疾病进展(这正是大多数治疗方法旨在预防的事情)的情况下的效果是否有价值尚存在争议，但很明显，了解正在评估的治疗效果对正确解释研究结果至关重要。但是，虽然方案和试验出版物需要使用统计方法进行分析[3.，4，5，6]，对每个分析所要解决的确切问题的仔细陈述则不是，因此，它留给读者去尝试和拼凑所估计的内容。

上述卡巴西他赛试验只是一个说明性的例子，用来强调一个广泛存在的问题，而这个问题并非本研究所独有。这种清晰度的缺乏尤其成问题，因为即使拥有专业的统计知识，也很难理解所估计的治疗效果(表2)1)．许多因素可以以微妙的方式改变对估计治疗效果的解释，包括试验设计[7，8，9]、如何分析数据[10，11，12，13]，以及如何处理中止治疗或转用治疗等问题[14，15，16］．读者可能会合理地认为，如果方案表明分析人群包括所有随机参与者，那么由此产生的治疗效果应该平等地适用于所有参与者。然而，事实并非如此;一些统计方法将包括分析中的所有随机参与者，但治疗效果仅适用于参与者的一个子集(例如，对整个试验人群进行编者平均因果效应，但仅适用于在任何一种治疗策略下都会遵守的参与者子集[17])。反之亦然，一些患者可能被排除在分析之外，但在某些假设下，估计的治疗效果仍然适用于整个试验人群[18］．

针对这些问题，国际协调理事会发布了一份关于在随机对照试验(rct)和其他研究(如单臂试验和观察性研究)中使用估计的指导文件，作为ICH E9 (亚博ag出账秒到ICH E9(R1)临床试验统计原则指南中关于临床试验中估计和敏感性分析的补充) [14］．一个estimand是对要估计的治疗效果的精确描述(即，它可以被认为是分析方法试图回答的精确问题)。它涉及五个属性的规范:(i)感兴趣的人群，(ii)待比较的治疗条件，(iii)感兴趣的结果测量，(iv)人群水平的总结性测量，说明如何比较不同治疗条件下的结果(如通过风险比、优势比或比例差异)，以及(v)在(i) - (iii)方面未处理的可能影响结果数据解释或存在的并发事件，如治疗中止、使用抢救性药物或死亡，将被处理。重要的是，这五个属性是根据我们的治疗效果来定义的想要与实际统计分析中处理这些属性的方式不同(例如，我们对估计感兴趣的总体可能是所有试验参与者，即使我们的统计分析可能会排除数据缺失的参与者[18])。

将统计分析(回答问题的方法)与问题本身(估计)分开有几个好处。它可以(i)阐明每个试验分析所涉及的治疗效果，否则对读者来说可能是不透明的;确保所选治疗效果与患者和其他利益攸关方相关;(iii)确保试验的设计、实施和分析与研究目标一致[19，20.，21，22，23，24，25，26，27］．本文的目的是评估一组已发表的RCT方案中估计的描述情况，并确定是否有可能推断出每个试验的主要结果所估计的确切治疗效果。

ICH E9(R1)附录(规定初步评估应记录在试验方案中)于2017年以草稿形式发布，并于2019年11月作为最终版本发布[14］．我们回顾了50个最近发表的协议试用而且BMJ开放在我们搜索日期(2020年10月20日)，以评估在ICH E9(R1)补遗草案发布近1年后和3年后试验方案中估计的描述。我们选择试用而且BMJ开放因为他们发表了大多数RCT协议。

一位作者(BCK)通过手工搜索期刊网站文章列表(按发表日期排序)确定并评估了资格协议。

如果文章是人类随机试验的完整方案，则有资格纳入。排除标准为(i)试点/可行性试验，(ii) i / ii期试验，(iii)剂量寻找研究，以及(iv) COVID-19患者试验。

我们排除了COVID-19干预试验，因为由于2020年大流行形势的紧迫性，我们预计这些方案将比其他方案制定得更快，因此可能是非典型的，不太可能描述估计值。

没有进行正式的样本量计算，但基于对目标日期范围以外的方案的初步筛选，观察到明显的趋势，表明50个方案足以确定报告中关于估计的主要缺陷。

数据提取

每个方案的数据由两名具有10年以上临床试验经验的审稿人独立提取。分歧通过讨论得到解决。我们使用预试验的标准化数据提取表格提取了关于试验主要结果的初步估计的描述程度的数据。我们确定的主要结果如下:

• 如果只有一个结果被列为主要的，我们使用这个。

• 如果多个(或没有)结果被列为主要结果，但在样本量计算中只使用了一个结果，我们使用这个。

• 如果将多个(或无)结局列为主要结果，且未进行样本量计算，或对多个结局进行样本量计算，则使用目标/结局部分中列出的第一个临床结局。

同样，我们确定初步估计如下:

• 如果只有一个估价，我们就用这个。

• 如果列出了多个(或没有)估计，我们使用主要结果的主要分析来确定估计。如果没有一个单一的分析方法被确定为主要的，我们使用统计方法部分中列出的第一个分析方法。

确定每个估计属性是否已陈述/可推断/不可推断

对于每个试验的主要估计值，我们确定构成估计值的五个属性是否在方案中明确说明、未明确说明但可推断或不可推断。

如果一个属性被清楚地描述为评估的一部分或试验目标的一部分，我们就判断它是明确陈述的。例如，如果协议包括估计的描述，其中声明将使用平均数的差异进行总体水平的汇总测量，则此属性将被分类为明确声明的。同样，如果方案中不包括对估计的正式描述，但声明“本试验的目标是确定干预是否增加了与对照组相比生活质量的平均差异”，那么人群水平的总结测量属性也将被明确地归类。

如果属性没有明确地作为评估或试验目标的一部分陈述，但可以根据统计方法部分或协议的其他部分推断出来，我们将其判断为可推断的(即，我们可以根据所写的内容构建评估)。例如，如果方案表明将使用意向治疗方法进行分析(分析中包括的所有患者，根据分配的治疗组进行分析)，我们将推断估计的人群属性，涉及所有符合纳入/排除标准的患者(除非这与分析方法结合，例如编者平均因果效应，我们知道针对不同人群)，治疗条件方面是指分配的治疗方案，不考虑任何偏差，且治疗政策策略适用于处理所有非截断性并发事件(例如，中止治疗和使用抢救性药物，但不包括死亡率)，前提是在并发事件发生后继续收集结果数据(即方案明确规定了这一点，或声明将收集所有参与者的结果数据，并没有表明数据收集将在任何并发事件后停止)。类似地，如果统计方法部分表示他们将估计优势比，或者数据将使用逻辑回归模型进行分析(而该信息未被包括在试验目标中)，我们推断人口水平的汇总测量为优势比。

如果我们不清楚如何根据协议中所写的内容重建估计，我们就判断属性是不可推断的。例如，如果统计方法部分没有说明哪些患者或数据点将被包括在分析中，我们将人群属性归类为不可推断的。同样，如果方案规定将治疗偏差的患者排除在分析之外，我们将并发事件属性的处理设置为不可推断的，因为我们不清楚这是否对应于一个假设策略(在没有发生并发事件的假设情况下的治疗效果)或主要层策略(在不会发生并发事件的参与者子集中的治疗效果)。在后一种情况下，我们也将“人口”设为不可推断的，因为我们无法确定在假设策略下的整个人口是感兴趣的，还是主要阶层人口是感兴趣的;但是，我们将“治疗”设置为可推断的，因为可以根据排除项推断具体的治疗条件属性。最后，对于人口水平的汇总度量，我们需要一个量级度量(例如，均值差异、风险比、风险差异);如果统计方法部分规定只使用统计检验(例如Fisher精确检验或对数秩检验)来分析结果，则我们将总体水平的汇总测量设为不可推断。

我们将并发事件分类为(i)非依从性事件(例如治疗中断、漏剂量或未开始治疗)，(ii)治疗转换(例如从安慰剂转换为积极干预)，(iii)死亡率(在死亡点后，感兴趣的结果不再存在)，以及(iv)其他并发事件(例如抢救药物、不属于非依从性的治疗改变或使用非试验治疗)。

所有试验都提取了不坚持的处理方法。对于其他类型的并发事件(治疗转换、死亡率和其他)，我们首先确定这些是否适用于试验;如果是，我们就提取它们的数据。如果将死亡率列为结果(或结果的组成部分)，或方案的任何部分表明某些患者可能死亡，则判断其适用。假设治疗切换和其他同时发生的事件不适用(即在试验中不预期)，除非它们在方案的任何地方被提及。

当未说明对并发事件的处理时，我们检查了是否可以推断出ICH E9(R1)附录中列出的五种策略中，分析方法对应于治疗策略(其中并发事件的发生被认为是无关的)、假设(例如，设想不发生并发事件的场景)、复合(并发事件是结果定义的一部分)、在治疗期间(使用并发事件发生前的结果)或主要阶层(例如，无论治疗组如何，并发事件状态相同的人群)是感兴趣的。

我们收集了每个试验中所有相关并发事件的数据;然而，根据ICH-E9(R1)附录，我们只考虑了那些在治疗条件/人群/结果属性中没有明确表述的并发事件，以评估“并发事件”属性。例如，如果一个方案明确地将其治疗条件属性声明为“无论是否坚持，均按分配进行干预”，那么我们就根据不坚持以外的其他相关并发事件来评估并发事件属性。然而，如果相关的并发事件可以推断(但没有说明)作为治疗条件/人群/终点属性的一部分，我们也将其作为“并发事件”属性的一部分。

我们将总体估计定义为声明的(如果所有五个属性都声明了)、可推断的(如果所有五个属性都是可推断的或声明的，但不是全部都声明了)或不可推断的(如果五个属性中至少有一个是不可推断的)。

我们于2020年10月20日进行了搜索。我们总共评估了73个方案;其中10项不合格，因为它们是试点/可行性试验，6项是I/II期试验，1项是剂量发现研究，6项是在COVID-19患者中进行的试验。纳入的50份议定书于2020年10月5日至19日发表。

纳入试验的特征见表2．大部分试验(n= 46/ 50,92%)有学术或非营利性的赞助商。按学术/非盈利vs.制药赞助商细分的结果可在补充附件．

估计的描述

这50个协议中没有一个试图显式地描述估计值(表3.)，在74%的试验中，我们无法推断估计值。在只有53%的试验中，我们能够推断出四个或更多的估计属性。

在所有50个方案中，结果属性都被列为试验目标的一部分;然而，在任何方案中都没有明确地将其他属性作为试验目标的一部分。在36%的试验中，我们无法推断出预期的人群;在20%的相关治疗中，在34%的人群水平汇总测量中，在60%的人群水平汇总测量中，我们无法推断如何处理非依从性等并发事件。

属性可推断或不可推断的原因

结果如表所示4．总体不可推断的原因是分析的总体没有被清楚地描述(n= 11)，或者排除了有治疗偏差的患者，我们无法推断这是指对应于整个人群(在假设依从性下)还是对应于依从者的亚人群(n= 7)。

治疗条件属性不可推断的原因是不清楚如何在分析中处理治疗偏差(n= 9)或不清楚计划的分析方法对应于哪种治疗策略(在一项方案中，分析模型包括给予伴随治疗的剂量作为协变量，我们无法推断他们是否对特定剂量的治疗感兴趣，如果干预患者接受与干预下相同剂量的伴随治疗，或在治疗政策方法中)。

为什么总体水平的概要度量属性不可推断的原因是计划的分析策略没有足够清楚地描述(n= 8)或只使用统计学检验，没有相应的治疗效果或量级测量(n= 9)。

对并发事件处理的描述

结果显示在表格中5而且6．在34个方案(68%)中，对不坚持的处理是可以推断的，在每个案例中，因为作者计划了意向治疗分析并收集了偏离后的结果数据，使我们能够推断出治疗政策策略。无法推断的原因是(i)不清楚如何在分析中处理偏差(n= 9)和(ii)有偏差的患者将被排除在分析之外，我们无法推断作者的意图是对应于一个假设策略(例如，如果没有发生偏差的治疗效果)还是一个主要的分层策略(例如，在任何一种治疗下都不会偏离的患者亚群的治疗效果)(n= 7)。

只有三个协议提到治疗转换是一个潜在的问题。在所有三个案例中，我们推断了一个基于意向治疗分析方法的治疗策略。

在20个方案(40%)中，死亡率被提及为潜在的并发事件。在四个方案中，我们根据方案中方法部分中使用的结果的技术定义推断出一种复合方法(我们将这些列为可推断的而不是陈述的，因为与试验目标相关的较少技术的结果定义不包括死亡率)。在其余16个方案中，统计分析部分没有提到如何处理死亡率，因此我们无法推断出策略。

只有10个协议(20%)提到了任何其他并发事件的可能性。总的来说，这些协议提到了15种其他类型的并发事件7)．这些改变为指定治疗(n= 4)和使用非试验治疗(n= 10)，一项体外受精试验提到，缺乏胚胎可以移植到参与者身上是一个潜在的问题。

在12个病例中，处理其他并发事件的策略是可推断的(作为基于治疗意向分析的治疗政策策略)。在三种情况下，它是不可推断的;在一个案例中，不清楚该事件将如何在分析中处理;在一种情况下，有并发事件的参与者被排除在分析之外，我们无法推断他们是否有意采用假设的或主要的地层策略;在一种情况下，尚不清楚计划的分析对应于哪种策略(其中分析模型将包括伴随治疗的实际剂量作为协变量，如上所述)。

估计值的使用在很大程度上澄清了每个分析所处理的确切治疗效果，因此确保每个分析所处理的问题对患者和其他利益相关者都是有意义的，并确保问题(估计值)和用于回答问题的方法(试验的设计、实施和分析)之间的一致性。然而，尽管ICH E9附录草案于2017年发布，最终版本于2019年发布，但我们在对2020年10月发布的方案的审查中没有发现接受的证据。没有任何方案参考ICH E9(R1)附录，使用术语“估计”，或试图正式描述其主要结果的估计。此外，在74%的试验中，没有足够的信息来推断估计值，因此不清楚试验估计的确切治疗效果是什么。

有一个属性被描述得很好，那就是结果，在50个方案中，结果都被提到是试验目标的一部分。然而，其他四个属性在任何协议中都没有明确描述，而且通常没有足够的信息来推断它们。特别是，在60%的协议中无法推断并发事件的处理。造成这种情况的主要原因是，在分析中往往没有说明如何处理并发事件，或者只是简单地说明将排除有并发事件的参与者，但没有澄清是打算采用假设性方法还是主要层方法。特别是对死亡率的处理描述得很差。在16个试验中，死亡率是一个潜在的并发事件，但不是综合结果的一部分，没有一个试验描述了在分析中如何处理它。这可能是由于治疗政策策略不能用于死亡率(因为相关结果数据不再存在)，因此死亡率的处理必须在文本中明确说明，而不是根据治疗意向分析推断，就像对其他(非截断)并发事件(如治疗中断或使用抢救性药物)可以做的那样。

有趣的是，对所使用的统计方法的精确描述并不总是足以让我们推断出所估计的治疗效果(或者换句话说，知道回答问题的方法并不一定能告诉我们什么问题正在得到回答)。当排除了治疗偏差的参与者时，这一点最为显著，这可能与上面讨论的几个不同的估计相对应，但在其他情况下也会发生(例如，当一个试验根据所接受的实际治疗剂量进行了调整，这也可能与几个不同的兴趣估计相对应)。

此外，即使我们作为统计学家能够根据某些方案中的统计方法部分推断出估计的某些属性，这并不意味着所估计的治疗效果被清楚地描述了。这种推断通常需要了解统计分析方法背后的机制(例如，重复测量混合模型隐含地在死亡后推断数据)，而那些依靠试验结果来为医疗保健决策提供信息的人(例如患者、临床医生或撰写证据指南的人)可能不具备这些知识。事实上，许多统计学家可能并不完全理解他们所使用的方法背后的机制。因此，使用试验结果的人们对治疗效果的估计可能比我们在这里发现的要低。

此外，即使我们能够推断什么正从试验方法上估计，这不一定对应什么调查者吗想要来估计。例如，在一项评估用于预防某些非致命不良事件的新疗法的试验中，研究人员可能会出于方便而审查在经历感兴趣的事件之前死亡的患者。然而，这种分析选择的含义是在假设患者没有死亡的情况下估计治疗的效果。虽然在某些情况下，这可能是研究人员想要估计的，但在许多情况下，它不是，因此估计的使用可以帮助他们评估他们计划的分析方法是否符合预期的治疗效果。

对于为什么没有使用估计数字，有几种可能的解释。ICH E9(R1)附录是全球监管机构和制药行业之间的合作，主要针对用于监管申报的药物试验。我们的综述主要包含学术试验，据我们所知，目前还没有针对学术试验的指导方针来促进估计的使用。因此，许多学术试验人员可能根本不知道估计值的概念(尽管应该注意的是，在我们的综述中，四个行业赞助的试验没有一个没有清楚地报告估计值)。也有可能在我们的审查中包括的一些方案是在最终的ICH E9(R1)附录发布之前编写的，并且从那时起就没有更新过。然而，这并不能解释对方法的糟糕描述，这意味着我们不能在近四分之三的协议中推断估价值。

此外，Mitroiu等人[23]审查了与药物授权申请有关的文件，以确定评估的描述情况以及使用了哪些处理并发事件的策略。他们发现评估很少被明确描述，通常必须根据统计方法部分和协议的其他部分来推断。他们还发现，目前使用的评估策略与疾病指南推荐的策略之间经常不匹配。

正如其他人所述，不同的利益相关者可能需要不同的估计[7，14，19，22]，因此多种估计可能有用。估计的选择应该在相关利益相关者之间进行合作，而不是根据统计学家偏爱的分析方法独自进行。

在已发表的试验方案中，对估计值的描述很差，而且在大多数试验中，不可能准确地了解对主要结果估计的治疗效果。考虑到估计有可能提高清晰度和改进试验设计，其使用应由资助机构、期刊授权，并在诸如CONSORT和SPIRIT等报告准则内使用。

本研究中使用和/或分析的数据集可根据合理要求从通讯作者处获得。

我:

国际协调理事会

个随机对照试验:

随机对照试验亚博ag出账秒到

感谢三位审稿人对稿件提出的建设性意见。

BCK, TPM, IRW和JRC由英国MRC资助，授予mc_uu_00004 /07和MC_UU_00004/09。SC由NIHR高级奖学金(参考:NIHR30093)资助。本出版物中表达的观点是作者的观点，不一定是NHS、国家卫生研究所或卫生和社会保健部的观点。

作者及隶属关系

1. 英国伦敦大学学院MRC临床试验单位

   布伦南·c·卡汉，蒂姆·p·莫里斯，伊恩·r·怀特和詹姆斯·卡朋特

2. 帝国临床试验单位，伦敦帝国理工学院，伦敦，英国

   苏西Cro

贡献

BCK、TPM、IRW、JC和SC开发了协议和数据提取表单。BCK、TPM和SC提取数据。BCK分析了数据，并写下了手稿的初稿。TPM、IRW、JC、SC对稿件进行了修改。所有作者都阅读并批准了最终的手稿。

相应的作者

对应到布伦南·c·卡汉．

伦理批准并同意参与

不适用。

发表同意书

不适用。

相互竞争的利益

作者宣称他们之间没有利益冲突。

出版商的注意

怎么样下载亚搏施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。

开放获取本文遵循知识共享署名4.0国际许可协议，允许以任何媒介或格式使用、分享、改编、分发和复制，只要您对原作者和来源给予适当的署名，提供知识共享许可协议的链接，并注明是否有更改。本文中的图像或其他第三方材料包含在文章的创作共用许可协议中，除非在材料的信用额度中另有说明。如果材料未包含在文章的创作共用许可协议中，并且您的预期使用不被法定法规所允许或超出了允许的使用范围，您将需要直接获得版权所有者的许可。如欲查看本牌照的副本，请浏览http://creativecommons.org/licenses/by/4.0/．创作共用公共领域奉献弃权书(http://creativecommons.org/publicdomain/zero/1.0/)适用于本条所提供的资料，除非在资料的信用额度中另有说明。

转载及权限