我在一个程序中得到这个错误,该程序创建了几个(数十万)HashMap对象,每个对象有几个(15-20)文本条目。在将这些字符串提交到数据库之前,必须收集所有这些字符串(而不将其分解为更小的数量)。

根据Sun的说法,错误发生在“如果在垃圾收集上花费了太多的时间:如果超过98%的总时间花在垃圾收集上,而不到2%的堆被恢复,则会抛出OutOfMemoryError”。

显然,可以使用命令行将参数传递给JVM

增加堆的大小,通过“-Xmx1024m”(或更多),或者 通过"-XX:-UseGCOverheadLimit"完全禁用错误检查。

第一种方法工作得很好,第二种方法在另一个java.lang中结束。OutOfMemoryError,这次是关于堆的。

那么,问题是:对于特定的用例(即几个小HashMap对象),是否有任何编程替代方案?例如,如果我使用HashMap clear()方法,问题就会消失,但存储在HashMap中的数据也会消失!: -)

该问题也在StackOverflow的相关主题中进行了讨论。


当前回答

您实际上正在耗尽内存,无法顺利运行进程。想到的选项有:

像你提到的那样指定更多的内存,首先尝试介于两者之间的内存,比如-Xmx512m 如果可能,使用更小批量的HashMap对象一次性处理 如果你有很多重复的字符串,在将它们放入HashMap之前,对它们使用String.intern() 使用HashMap(int initialCapacity, float loadFactor)构造函数针对您的情况进行调优

其他回答

@takrl:默认设置为:

java -XX:+UseConcMarkSweepGC

这意味着,默认情况下,该选项不是活动的。所以当你说你使用了期权 “+ XX: UseConcMarkSweepGC” 我假设你使用的是这样的语法:

java -XX:+UseConcMarkSweepGC

也就是说你明确地激活了这个选项。 为正确的语法和Java热点虚拟机选项的默认设置@此 文档

使用替代HashMap实现(Trove)。标准Java HashMap有12倍的内存开销。 你可以在这里阅读细节。

不要在等待结束时将整个结构存储在内存中。

将中间结果写入数据库中的临时表,而不是hashmap——从功能上讲,数据库表相当于hashmap,即两者都支持按键访问数据,但表不受内存限制,因此在这里使用索引表而不是hashmap。

如果操作正确,您的算法甚至不应该注意到这个变化——这里的正确意思是使用一个类来表示表,甚至像hashmap一样给它一个put(键,值)和get(键)方法。

当中间表完成时,从中间表而不是从内存中生成所需的sql语句。

如果你有java8,你可以使用G1垃圾收集器,然后运行你的应用程序:

 -XX:+UseG1GC -XX:+UseStringDeduplication

这告诉G1寻找相似的字符串,并在内存中只保留其中一个字符串,其他字符串在内存中只是指向该字符串的指针。

当你有很多重复的字符串时,这很有用。此解决方案可能有效,也可能无效,这取决于每个应用程序。

更多信息: https://blog.codecentric.de/en/2014/08/string-deduplication-new-feature-java-8-update-20-2/ http://java-performance.info/java-string-deduplication/

您实际上正在耗尽内存,无法顺利运行进程。想到的选项有:

像你提到的那样指定更多的内存,首先尝试介于两者之间的内存,比如-Xmx512m 如果可能,使用更小批量的HashMap对象一次性处理 如果你有很多重复的字符串,在将它们放入HashMap之前,对它们使用String.intern() 使用HashMap(int initialCapacity, float loadFactor)构造函数针对您的情况进行调优