java - 遗传算法线程池用尽了内存-为什么？

因此，我正在努力使遗传算法(用Java编码)并行化，并且我决定使用Executor来管理种群中个体的适应性测试的异步执行。我这样做是因为这意味着我可以创建一个具有固定线程池大小的执行程序，并在每一代中简单地重用那些线程，而不是每一代中都创建新线程。

现在，我已经进行了一系列测试，以随着人口规模的增长来监控我的Google Analytics(分析)性能，并且遇到了麻烦。执行以下代码:

        for(i=1;i<=11; i++){
            PopulationSize = 10*i;
            for(j=0;j<10;j++){

            startTime = System.nanoTime();

            P = new Population(PopulationSize, crossOverProbability, mutationProbability, conGens);

            while(P.generation()<10){
                P.breedNewPop();
            }

            endTime = System.nanoTime();
            time = (endTime - startTime) * Math.pow(10, -9);

            System.out.println("Done Trial " + i + ", Round " + j);
            }
        }

我收到以下错误:

Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread

让我感到困惑的是，这是在第10轮第4轮试验中发生的-这意味着它能够顺利运行第10轮的前三轮试验。由于运行第4轮时没有什么区别(尤其是第4轮不要求比第10轮的1-3轮更多的线程)，所以我不希望它有任何问题。但是，确实如此。

我现在有一个理论，就是Java并没有进行正确的垃圾回收-我的意思是，由于某种原因，Java并没有清除旧的未使用线程，这就是为什么Java在如此特殊的时刻耗尽内存的原因。考虑到这就是问题，我尝试在循环内声明和分配P，而不仅仅是分配它。那没有效果。我还尝试在循环的末尾添加P = null; System.gc();，以尝试在创建新的线程池之前强制进行垃圾回收。同样，它没有影响。

以下是与执行程序有关的相关代码行:

在Population()中:executor = Executors.newFixedThreadPool(popSize);
在Population.findFitness()中:

for(int i=0; i<individuals.length; i++){
        executor.execute(individuals[i]);
    }try {
        cdl.await();
    } catch (InterruptedException e) {
        System.out.println("Error: Thread interrupted.");
    }

(我正在使用CountDownLatch等待所有线程的执行完成-从并行化时起我就已经实现了它，方法是将每个Individual的适应性测试放入自己的线程中，而不是通过执行程序使用线程池。该闩锁还似乎比ExecutorService的invokeAll()方法之类的东西更适合我的Personal实现。)

Individual.run()的代码:

public void run(){
    try{
        findFitness();
    }catch (Exception e){
        System.out.println("Error in Individual.run(): " + e.getMessage());
    }finally{
        stopLatch.countDown();
    }
}

在这一点上，我对可能导致它的原因不知所措。有谁知道为什么会发生这种情况以及我该如何解决？

P.S.我知道我可以尝试使用更多的内存来运行JVM，但这仍然不能解释错误的特殊时间安排。考虑到我正在一台计算机上对该程序进行编程，并最终将其移至另一台计算机上，所以我宁愿理解错误背后的原因，而不是以相对蛮力的方式对其进行修复。

更新:经过反复运行试验，这次通过JConsole监视线程，我可以确认执行程序正在创建正确大小的线程池。但是，线程池并没有被破坏-每轮测试(即每次通过for循环，计数为j)都会产生一个新的线程池，但是旧的线程池仍然存在。为什么会这样？

最佳答案

创建具有固定大小的线程池的线程时，内存不足似乎是最奇怪的。我怀疑以下情况之一:

您的线程池实际上不是固定大小的；也就是说，您错误地创建了池。

您的代码正在其他地方创建线程；例如通过显式调用new Thread().start()。这可能会显示在堆栈跟踪中。

另一种可能性是JVM外部的某种原因导致JVM无法分配线程堆栈。这些不在正常的堆内存中分配，因此不会是-Xmx设置。它可能是默认的线程堆栈大小设置，也可能是外部资源限制...或计算机上的常规资源匮乏。

带有此异常消息:

Exception in thread "main" java.lang.OutOfMemoryError:
     unable to create new native thread .

这显然不是GC检测到的正常“堆太满”类型的问题。失败的内存分配是对线程堆栈的非堆内存的请求。增大堆大小将无济于事，甚至可能使情况更糟。

强制GC运行也无济于事。即使问题是由分配堆对象触发的，它也无济于事……因为JVM在运行GC之后只会抛出一个堆OOME。