不大时如何写出1篇饱满的诊断论文？所谓"巧妇难为无米之炊"，统计学玩的就是数据，当你的数据量不足，自身写作的底气仿佛低人三分一样。关于亦如是。当自身也就100多-200上下，此时到底拆不拆分成训练集和验证集呢?不拆建模都有一定的风险，一旦拆分结果也许会更加不稳定。
如果你豪横，几万-几十万，那么这篇推文您不必看。此文适合余粮不足的小课题组。当您不大，全部数据也仅仅满足10epv原则稍微大一点。那就意味着，您全部数据拿来建模也就刚刚好够，此时您是不可以进行拆分的，因为，自变量数量还是那么多，当您进行拆分，那么势必构建模型的就不够用了。同时要注意，10epv不是指受试对象数目是自变量的10倍，而是指受试对象中发生目标结局事件的人数满足10epv原则。
如何小样本建模?
1.不要拆分了，全部数据进行建模;
你也许说，那我不就没有验证集了嘛?那我结果专家肯定不认可。注意预测模型验证主流包括2种方法：一是交叉验证，二是bootstrap;
交叉验证又包括简单交叉、k重交叉和留一法，关系如下：
建模时，一般采用的都是先单后多模型;那么此时你就可以得到下面一张先单后多的表格。
但是如果你数据相关性较高，也可以采用lasso进行筛选变量，然后再进行多因素分析，那么此时的结果就更加哇塞一些，当然也得数据分析的结果还可以才行。
模型构建好之后，开始评价与验证。预测模型从区分度、校准度和临床适用度3个方面进行评价与验证的哦!
2.区分度的评价.
因为我们没有进行训练集与验证集的拆分，所以就没有验证集的评价了，但是验证还是要验证的，首先是区分度的评价，对于区分度评价采用的时roc和auc。
此时我们也有两种选择，要么对训练集进行交叉验证或者急性bootstrap。交叉验证就是对我们全部数据(建模集)进行3-5-10重拆分，构建3-5-10个模型，然后进行3-5-10遍的验证，最后得出一个平均的结果;
bootstrap就是在我们全数据集中进行数百次的抽样，进行数百次的模型运行评价，分别计算其roc和auc，然后得到一个综合的平均结果，反应模型的稳健表现。
两种方式的展现方式也不一样。如下为roc的10重交叉。
如下为roc的bootstrap，那么松哥问您一个问题，对于roc的交叉验证与bootstrap，您觉得那个更好呢?
3.校准度评价与验证.
校准度评价，一般我们采用的都是bootsrap，通常都是500次，也有1000次抽样。一般校准曲线出现bias-corrected的那条线，就是经过500次或1000次抽样后得到的模型表现的平均线。
4.dca评价与验证.
dca也是常用bootstrap进行验证，当然也可以交叉验证。如下就是精鼎诊断预测模型软件进行的bootstrap dca和交叉验证的dca。
5.绘制nomogram.
在不大的情况下，上述对3个度都进行的模型的评价与验证。就该进行模型展示了，如下四种，1-2-3-4，展现能力逐步增强，看你分析能力选择吧!
6.合理性分析.
一般到这时候，很多文章就开始讨论收尾了，其实还可以进一步验证我们模型的合理性以及诊断能力。
此时，我们还可以增加2张图和1张表格。
第一张图：nomo-roc，是绘制包括nomo模型以及模型包含的各个因子的多，如果模型效果合理，那么nomo的roc应该比任何一个子民的roc都要大。
第二张图：nomo-dca，道理和上述一致的。
第三张表格：诊断能力评价表，就是你构建的模型是诊断类的预测模型，用于模型的诊断，那么你构建好了之后，如何评价您的诊断能力呢?那么再好的不过诊断试验评价指标了哦，于是就要进行灵敏度、特异度等评价指标进行评价。
小结
对于诊断类预测模型，在不大的情况下，如果能把上述评价与验证都做了，基本上，已经分析的够透彻了。还有几个问题和大家讨论下：
1.到底啥是模型评价?啥是模型验证?
建模阶段，比如建模判定参考的aic、bic指标，都是评价指标;
区分度、校准度、临床适用度等指标，都是评价指标;
那么何为验证呢?就是你得到一个评价指标后，有无对该指标进行交叉验证或者bootstrap验证。所以好的，不仅是评价，而且要验证。
2.bootstrap和交叉验证那个更好?
从统计学角度，以及一些大牛的推荐，bootstrap更加适合小样本的研究。因为你自助抽样500次或1000次，就等于进行500次或1000次的检验;而你交叉验证目前常用的也就进行10重交叉，也就分析10次。
3.为啥合理性分析，有nomo-dca和nomo-roc，为啥没有nomo-calibration plot; 这点确实如此，目前看文献，尚未见到nomo-calibration plot。
4.如果继续提升这篇文章，你可以考虑用不同方法构建两个模型或多个模型;或者自己构建模型和一个国际模型比较;当你有多个模型的时候，就可以对他们进行比较，那么此时，又可以绘制多张图，同时还可以计算nri和idi 的评价指标了。
上一篇：spss：重复测量资料的方差分析