提高作为算法设计的一个隐喻

Kannan萨勃拉曼尼亚
MCA、Bharath研究所的科技、钦奈,印度TamilNadu

文摘

尽管一些算法平均比别人,很少有最好的算法对于一个给定的问题。相反,不同的算法通常表现良好在算法求解np难问题,当运行时是高度从实例实例变量。当算法表现出较高的运行时间差异,一个是面对的问题决定使用哪种算法。

使算法组合实用

我们已经表明,算法组合可以提供显著的加速比赢家通吃的算法选择。因此值得考虑修改的方法,使其在实践中更有用。

即改变变量的响应

平均运行时间显然是衡量投资组合的表现,如果一个人的目标是减少计算时间的大量实例。从我们的模型根均方误差最小化,他们适当地惩罚同样错误实例的20秒,1秒或运行10小时。然而,另一个合理的目标可能是在每个实例无论其硬度表现良好;在这种情况下,相对误差最合适。让零售物价指数分别组合的运行时和最优运行时实例我和n实例的数量。衡量一个洞察投资组合的相对误差是最佳的百分比。平均相对误差的另一个措施是次优的百分比。

取对数的运行时是一个简单的方法来平衡的重要性相对误差在简单和困难的实例。因此,模型预测运行时日志有助于提高平均百分比不佳,尽管一些代价的投资组合的平均运行时。其他的转换实现不同的权衡。函数是归一化的最大价值,因为这并不会影响回归,但允许我们更好的可视化效果。

二世。智能特性计算

特征值之前,必须计算投资组合可以选择一种算法来运行。我们希望投资组合将是最有用的,当他们结合的几个指数时间算法有较高的运行时方差,和快速的多项式时间特性应满足大多数模型。然而,在某些情况下个人特性的计算可能会大大超过一个甚至所有算法将运行。在这种情况下,它将会是可行的执行算法选择不花那么多时间在计算功能,甚至不惜牺牲一些精度在选择最快的algorithm-if实例很简单算法,我们可以容忍更大的预测误差。我们的功能分割成集命令通过时间复杂度。投资组合最简单的功能,可以通过计算和迭代计算下一组只有选择预期的好处超过计算的成本。更准确地说应该是:

•为每组Sj学习或提供一个模型c (Sj)估计计算所需的时间。通常情况下,这可能是一个平均时间比例由输入的大小。

•把训练示例分成两组。用第一组,火车模型M1:::毫升,Mi k预测算法的运行时在Sk j = 1 Sj使用特性。注意,Mi l模型算法是一样的,我在我们的基本组合方法。让可选择argminiMi k的组合。

•使用第二个训练集学习模型D1::: Dl i1, Dk预测算法之间的差异在运行时可选择,可+ 1基于运行时的数据模型是合适的。

•j = 1 l。

1。Sj的计算特性。

2。如果Dj [x] > c (Sj + 1) [x],继续。

3所示。否则,返回一个算法预测根据乔丹最快。

三世。限制运行

每个算法的方法需要收集运行时数据训练集的每个问题实例。虽然这一步的时间成本是根本不可避免的方法,收集完美数据为每个实例可以长时间不合理。当算法a1通常比a2慢得多。但在某些情况下显著优于a2, a1的完美模型的运行时所需硬实例可能不是歧视。收集数据的过程中可以更加容易的覆盖每一个算法的运行时间和运行记录这些captime终止。这是安全的,如果选择captime总是显著大于最小算法的运行时;如果不是它可能仍然是比牺牲一些大大降低了模型预测的准确性。注意,如果一个算法,它可以是危险的收集数据的另一个算法在同一时间没有限制,因为投资组合可以用小captime不当选择算法。

第四,案例研究结果

第一行的结果,将是一个完美的组合。我们尝试几个转换函数之间的线性和日志。这里我们只显示最好的立方根:几乎是线性的平均运行时性能,但也使得选择那么准确的日志。注意到这三个模型在这里播种不同样准确的在我们的数据集。对转换是将模型精度的影响,以实现不同的权衡。这一事实,所有这些模型实现良好的组合结果对模型精度。当使用智能特性计算的平均时间计算特性年代近一半没有任何显著的影响在实际算法的运行时间。这个结果相当明显的简单实例。

诉诱导硬分布

一旦我们决定选择在现有算法使用组合方法,有必要重新审视我们的设计和评估算法。自设计算法的目的是减少需要解决问题的时候,设计师的新算法应该补充现有的投资组合。首先有必要选择一个分布D反映在实践中会遇到的问题。让高频模型基于实例的组合运行时特性,构造成最小的模型构成的投资组合。通过正常化,我们可以重新解释这个模型作为密度函数高频。给定一个投资组合,改进的最大的机会是困难的实例,在D或两者组合常见。更准确地说,一个地区的重要性问题空间正比于当前的投资组合的时间花在实例。这类似于主要从增加新的分类器应该努力训练实例上现有的合奏,比例,他们发生在原始训练集。

抽样的登革出血热是有问题的,因为D可能不是non-analytic虽然高频取决于特性,所以只能评估后,可以创建一个实例。处理这个问题的一个方法是拒绝抽样:1。从D和生成问题保持高频的概率成正比。这个方法效果最好,当另一个分布可用努力指导采样过程对实例。测试分布通常有一些可调参数虽然实例生成的硬度相同的参数值可以相差很大。我们可以从D高频生成实例以下列方式:

1。创建一个硬度模型惠普与特性和规范化创建一个pdf,惠普。

2。生成大量的实例从D惠普。

3所示。构造一个分布在实例分配每个实例年代概率正比于高频(s)。

注意,如果惠普帮助,艰难的实例从登革出血热很快将被遇到。甚至在第一种情况下,惠普将搜索远离困难情况下,我们从正确的样本分布,由于重量除以惠普(s)。

因为我们的运行时限制,诱导分布不产生任何实例数量级比先前的实例。

引用

一个。Doucet弗雷塔斯的n和n .戈登“顺序蒙特Caarlo方法在实践中”,施普林格1 - 2001。

J。R大米、“算法选择的问题。电脑的进步”,15:65 - 118.1976。

e·霍维茨y阮,C。戈麦斯:“贝叶斯方法努力解决计算问题”,可用2001。