python内存使用量字典和变量大数据集

因此，我正在用Python 3.4制作游戏。在游戏中，我需要跟踪 map 。它是连接房间的 map ，从(0,0)开始并向各个方向连续，以过滤随机方式生成(仅对下一个位置的正确匹配用于随机列表选择)。

我有几种类型的房间，其中有一个名称和门列表:

RoomType = namedtuple('Room','Type,EntranceLst')
typeA = RoomType("A",["Bottom"])
...

对于当前的 map ，我会保留位置和房间类型的指示:

currentRoomType = typeA
currentRoomPos = (0,0)
navMap = {currentRoomPos: currentRoomType}

我有一个生成9.000.000个房间的循环，以测试内存使用情况。
运行它，我得到大约600和800Mb。
我想知道是否有一种方法可以优化它。

我尝试了而不是做

navMap = {currentRoomPos: currentRoomType}

我会做

navMap = {currentRoomPos: "A"}

但这并没有使用上的真正变化。

现在，我想知道是否可以并且应该保留所有类型的列表，并且对于每种类型都保留其发生位置。但是，我不知道它是否会与python管理其变量的方式有所不同。

这几乎是一个思想实验，但是如果有什么有用的想法，我可能会实现。

最佳答案

您可以使用sys.getsizeof(object)来获取Python对象的大小。但是，在容器上调用sys.getsizeof时必须小心:它仅给出容器的大小，而不是内容的大小－有关如何获取包括内容在内的容器总大小的说明，请参见this配方。在这种情况下，我们不必走得太深:我们可以手动将容器的大小和其内容的大小相加。

有问题的类型的大小为:

# room type size
>>> sys.getsizeof(RoomType("A",["Bottom"])) + sys.getsizeof("A") + sys.getsizeof(["Bottom"]) + sys.getsizeof("Bottom")
233

# position size
>>> sys.getsizeof((0,0)) +  2*sys.getsizeof(0)
120

# One character size
>>> sys.getsizeof("A")
38

让我们看一下不同的选项，假设您有N个房间:

来自position -> room_type的字典。这涉及将N*(size(position) + size(room_type)) = 353 N字节保留在内存中。

来自position -> 1-character string的字典。这涉及将N*158字节保留在内存中。

来自type -> set of positions的字典。这涉及到保留N*120字节以及存储字典 key 的微小开销。

在内存使用方面，第三个选择显然更好。但是，通常情况下，您需要权衡CPU内存。值得简要考虑一下您可能要执行的查询的计算复杂性。要找到指定位置的房间类型，必须使用上述三个选择中的每一个:

查找字典中的位置。这是一个O(1)查找，因此您将始终具有(大约)相同的运行时间，而与房间数量(对于大量房间)无关。

同样的

查看每种类型，并针对每种类型，询问该位置是否在该类型的位置集中。这是一个O(ntypes)查找，即所花费的时间与您拥有的类型数量成正比。请注意，如果您去查找列表而不是用于存储给定类型的房间的集合，则它将增长为O(nrooms * ntypes)，这会降低您的性能。

与往常一样，进行优化时，重要的是要考虑优化对内存使用率和CPU时间的影响。两者经常是矛盾的。

或者，如果 map 足够矩形，则可以考虑将类型保留在二维numpy字符数组中。我相信这样会更有效率。 numpy数组中的每个字符都是一个字节，因此内存使用量要少得多，并且CPU时间仍然是从房间位置到键入位置的O(1)查找:

# Generate random 20 x 10 rectangular map
>>> map = np.repeat('a', 100).reshape(20, 10)
>>> map.nbytes
200 # ie. 1 byte per character.

一些其他的小规模优化:

将房间类型编码为int而不是字符串。整数的大小为24个字节，而一个字符的字符串的大小为38。

将位置编码为单个整数，而不是元组。例如:

# Random position
xpos = 5
ypos = 92

# Encode the position as a single int, using high-order bits for x and low-order bits for y
pos = 5*1000 + ypos

# Recover the x and y values of the position.
xpos = pos / 1000
ypos = pos % 1000

请注意，这会破坏可读性，因此只有在您想压缩性能的最后一点时才值得这样做。实际上，您可能希望使用2的幂而不是10的幂作为分隔符(但是10的幂有助于调试和可读性)。请注意，这会使每个位置的字节数从120增加到24。如果您遵循此路线，请考虑使用__slots__定义一个Position类以告诉Python如何分配内存，并向该类添加xpos和ypos属性。您不想用pos / 1000和pos % 1000语句乱丢您的代码。

关于python内存使用量字典和变量大数据集，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/30149405/