用python处理一个1G左右的数据集,运行速度非常慢,怎样优化

2025-02-22 14:27:57
推荐回答(1个)
回答1:

第一个办法,降低数据集的大小。python处理数据,如果数据结构中的数据超过2GB,通常都会很慢。如何降低数据集大小,需要修改算法。

第二个办法,将数据结构采用数组array或者是numarray存贮。这样内存数量与查找效率都会提高。尽量不要使用大的dict。使用一个省内存的blist代替list

第三个办法,将数据通过共享内存,让C++扩展模块来处理。

常用的是第二种办法。就是换个数据结构就可以提高效率。