我想开发一个框架（用于质量检查测试），以验证机器学习模型。我与同龄人进行了很多讨论，并阅读了Google的文章。
大多数讨论或文章都告诉我们机器学习模型将随着我们提供的测试数据而发展。如果我错了纠正我。
开发验证机器学习模型的框架将给出准确结果的可能性是什么？
我阅读的文章中很少有测试模型的方法：拆分和多拆分技术，变质测试
还请提出其他建议
最佳答案
基于ML的软件的质量检查测试需要进行额外的非常规测试，因为通常对于给定输入集，其输出是不确定的，确定性的或先验的，并且它们会产生近似值，而不是精确的结果。
质量检查可能旨在针对以下方面进行测试：
天真的但可预测的基准测试方法：预测中的average method，分类中基于类频率的分类器等。
sanity checks（输出是可行/合理的）：例如，预测年龄是否为正？
预设的客观接受水平：例如，其AUCROC> 0.5？
极端/边界情况：例如，天气预报模型的雷暴天气条件。
bias-variance tradeoff：它对样本内和样本外数据的性能如何？ K折cross-validation在这里很有用。
模型本身：n的性能指标（例如AUCROC）的coefficient of variation是否在相同数据上运行，以在合理范围内进行相同/随机训练和测试分区？
其中一些测试需要性能指标。 Here是它们的综合库。
关于testing - 如何测试机器学习模型？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/49189656/