第 15 章 生成数据

数据可视化指的是通过可视化表示来探索数据，它与数据挖掘紧密相关，而数据挖掘指的是使用代码来探索数据集的规律和关联。数据集可以是一行代码就能表示的小型数字列表，也可以是数亿G字节的数据。

漂亮地呈现数据关乎的并非仅仅是漂亮的图片。以引人注目的简洁方式呈现数据，让观看者能够明白其含义，发现数据集中原本未意识到的规律和意义。

所幸即便没有超级计算机，也能够可视化复杂的数据。鉴于Python的高效性，使用它在笔记本电脑上就能快速地探索由数百万个数据点组成的数据集。数据点并非必须是数字，利用本书前半部分介绍的基本知识，也可以对非数字数据进行分析。

在基因研究、天气研究、政治经济分析等众多领域，大家都使用Python来完成数据密集型工作。数据科学家使用Python编写了一系列令人印象深刻的可视化和分析工具，其中很多也可供我们使用。最流行的工具之一是matplotlib，它是一个数学绘图库，我们将使用它来制作简单的图表，如折线图和散点图。然后，我们将基于随机漫步概念生成一个更有趣的数据集——根据一系列随机决策生成的图表。

我们还将使用Pygal包，它专注于生成适合在数字设备上显示的图表。通过使用Pygal，可在用户与图表交互时突出元素以及调整其大小，还可轻松地调整整个图表的尺寸，使其适合在微型智能手表或巨型显示器上显示。我们将使用Pygal以各种方式探索掷骰子的结果。

15.1  安装matplotlib

首先，需要安装matplotlib，我们将使用它来制作开始的几个图表。

15.1.5  matplotlib画廊

要查看使用matplotlib可制作的各种图表，请访问http://matplotlib.org/的示例画廊。单击画廊中的图表，就可查看用于生成图表的代码。

15.2  绘制简单的折线图

下面来使用matplotlib绘制一个简单的折线图，在对其进行定制，以实现信息更丰富的数据可视化。我们将使用平方序数1 4 9 16 和 25来绘制这个图表。

只需向matplotlib提供如下数字，matplotlib就能完成其他的工作：

　　mql_squares.py

　　import matplotlib.pyplot as plt

　　squares = [1,4,9,16,25]

　　plt.plot(squares)

　　plt.show()

我们首先导入模块pyplot,并给它指定了别名plt,以免反复输入pyplot。在线示例大都这样做，因此这里也这样做。模块pyplot包含很多用于生成图表的函数。

我们创建了一个列表，在其中存储了前述平方数，再将这个列表传递给函数plot()，这个函数尝试根据这些数字绘制处有意义的图形。plt.show()打开matplotlib查看器，并显示绘制的图形，如图15-1所示。查看器让我们能够缩放和导航图形，另外，点击磁盘图表可将图形保存起来。

15.2.1  修改标签文字和线条粗细

上图所示表明数字是越来越大的，但标签文字太小，线条太细。所幸matplotlib让我们能够调整可视化的各个方面。

下面通过一些定制来改善这个图形的可读性，如下所示：

    mql_squares.py

　　import matplotlib.pyplot as plt

　　squares = [1,4,9,16,25]

　　plt.plot(squares,linewitdth=5)                                  --(1)

　　#设置图标标题，并给坐标轴加上标签

　　plt.title("Square Numbers",fontsize=24)                         --(2)

　　plt.xlabel("value",fontsize=14)                                 --(3)

　　plt.ylabel("Square of Value",fontsize=14)

　　#设置刻度标记大小

　　plt.tick_params(axis=‘both‘,labelsize=14)                        --(4)

　　plt.show()

参数linewidth(见(1))决定了plot()绘制的线条的粗细。函数title()(见(2))给图表指定标题。在上述代码中，出现了多次的参数fontsize指定了图表中文字的大小。

函数xlabel()和ylabel()让我们能够为每条轴设置标题(见(3))；而函数tick_params()设置刻度的样式(见(4))，其中指定的实参将影响x轴和y轴上的刻度(axes=‘both‘),并将刻度标记的字号设置为14(labelsize=14).

最终的图表阅读起来容易多了，如图15-2所示：标签文字更大，线条也更粗。

15.2.2  校正图形

图形更容易阅读后，我们发现没有正确地绘制数据：折线图的终点指出4.0的平方为25！下面来修复这个问题。

当我们向plot()提供一系列数字时，它假设第一个数据点对应的x坐标轴为0，但我们的第一个点对应的x值为1。为改变这种默认行为，我们可以给plot()同时提供输入值和输出值：

import matplotlib.pyplot as plt

input_values = [1,2,3,4,5]squares = [1,4,9,16,25]plt.plot(input_values,squares,linewidth = 3)#设置图标标题，并给坐标轴加上标签plt.title(‘Square Numbers‘,fontsize = 24)plt.xlabel(‘value‘,fontsize = 14)plt.ylabel(‘Square of value‘,fontsize = 14)

#设置刻度标记的大小plt.tick_params(axis=‘both‘,labelsize=14)plt.show()    现在plot()将正确地绘制数据，因为我们同时提供了输入值和输出值，它无需对输出值的生成方式作出假设。最终的图形是正确的，如图所示。    使用plot()时可指定各种实参，还可使用众多函数对图形进行定制。本章后面处理更有趣的数据集时，将继续探索这些定制函数。

15.2.3  使用scatter()绘制散点图并设置其样式    有时候，需要绘制散点图并设置各个数据点的样式。例如，我们可能以一种颜色显示较小的值，而用另一种颜色显示较大的值。绘制大型数据集时，我们还可以对每个点都设置同样的样式，再使用不同的样式选项重新绘制某些点，以突出它们。    要绘制单个点，可使用函数scatter()，并向它传递一对x和y坐标，它将在指定位置绘制一个点：    scatter_squares.py    import matplotlib.pyplot as plt

plt.scatter(2,4)　　plt.show()    下面来设置输出的样式，使其更有趣：添加标题，给轴加上标签，并确保所有文本都大到能够看清：    import matplotlib.pyplot as plt　　plt.scatter(2,4,s=200)                                                            --(1)　　#设置图标标题并给坐标轴加上标签    plt.title("Square Numbers",fontsize = 24)　　plt.xlabel("value",fontsize=14)　　plt.ylabel("Squares of Value",fontsize=14)

　　#设置刻度标记的大小　　plt.tick_params(axis="both",which="majro",labelsize=14)　　plt.show()    在(1)处，我们调用了scatter()，并使用实参s设置了绘制图形时的点的尺寸。如果此时运行scatter_squares.py，将在图表中央看到一个点，大致如图所示：    在(1)处，我们调用了scatter(),并使用实参s设置了绘制图形时使用的点的尺寸。如果此时运行scatter_squares.py，将在图表中央看到一个点，大致如图15-4所示。

15.2.4  使用scatter()绘制一系列点    要绘制一系列的点，可向scatter()传递两个分别包含x值和y值的列表，如下所示：15.2.5  自动计算数据    手工计算列表要包含的值可能效率地下，需要绘制的点很多时尤其如此。可以不必手工计算包含点的坐标的列表，而让python循环来替我们完成这种计算。下面时绘制1000个点的代码：    我们首先创建了一个包含x值的列表，其中包含数字1~1000。接下来时一个生成y值的列表解析，它遍历x值(for x in x_values),计算其平方值(x**2),并将结果存储到列表y_values中。然后，将输入列表和输出列表传递给scatter()。    由于这个数据集较大，我们将点设置的较小，并使用函数axis()指定了每个坐标轴的取值范围。函数axis()要求提供四个值：x和y坐标轴的最小值和最大值。在这里，我们将x坐标轴的取值范围设置为0～1100，并将y坐标轴的取值范围设置为0～1100000。结果如图所示：

15.2.6  删除数据点的轮廓    matplotlib允许我们给散点图中的各个点指定颜色。默认为蓝色点和黑色轮廓，在散点图包含的数据点不多时效果很好。但绘制很多点时，黑色轮廓可能会粘连在一起。要删除数据点的轮廓，可在调用scatter()时传递实参edgecolor=‘none‘:    plt.scatter(x_values,y_values,edgecolor=‘none‘,s=40)    将相应调用修改为上述代码后，如果再运行scatter_squares.py，在图表中看到的将是蓝色实心点。

15.2.7  自定义颜色    要修改数据点的颜色，可向scatter()传递参数c，并将其设置为要使用的颜色的名称，如下所示：    plt.scatter(x_values,y_values,c=‘red‘,edgecolor=‘none‘,s=40)    我们还可以使用RGB颜色模式自定义颜色。要指定自定义颜色，可传递参数c,并将其设置为一个元祖，其中包含三个0～1之间的小数值，它们分别表示红色、绿色和蓝色分量。例如，下面的代码行创建了一个有淡蓝色点组成的散点图：    plt.scatter(x_values,y_values,c=(0,0,0.8),edgecolor=‘none‘,s=40)    值越接近0，指定的颜色越深，值越接近1，指定的颜色越浅。

15.2.8  使用颜色映射    颜色映射(colormap)是一系列颜色，它们从起始颜色渐变到结束颜色。在可视化中，颜色映射用于突出数据的规律，例如，我们可能用较浅的颜色来显示较小的值，并使用较深的颜色来显示较大的值。    模块pyplot内置了一组颜色映射。要使用这些颜色映射，我们需要告诉python该如何数据集中每个点的颜色。下面演示了如何根据每个点的y值来设置其颜色：

import matplotlib.pyplot as pltx_values = list(range(1,10001))y_values = [x**2 for x in x_values]plt.scatter(x_values,y_values,c=y_values,cmap=plt.cm.Blues,edgecolor=‘none‘,s=10)#设置图表标题并给坐标轴加上标签plt.title("Square Numbers",fontsize=24)plt.xlabel("Value",fontsize=14)plt.ylabel("Square of Value",fontsize=14)

#设置刻度标记的大小plt.axis([0,1100,0,1100000])plt.show()    我们将参数c设置成了一个y值列表，并使用参数cmap告诉pyplot使用那个颜色映射。这些代码将y值较小的点显示为浅蓝色，将y值较大的点显示为深蓝色。

15.2.9  自动保存图表    要让程序自动将图表保存到文件中，可将对plt.show()的调用替换为plt.savefig()的调用：　　plt.savefig(‘squares_plot.png‘,bbox_inches=‘tight‘)    第一个实参指定要以什么样的文件名保存图表，这个文件将存储到scatter_squares.py所在的目录中；第二个实参指定图表多余的空白区域裁剪掉。如果要保留图表周围多余的空白区域，可省略这个实参。

15.3  随机漫步    在本节中，我们将使用python来生成随机漫步数据，再使用matplotlib以引人注目的方式将这些数据呈现出来。随机漫步是这样行走得到的路径：每次行走都完全是随机的，没有明确的方向，结果有一系列随机决策决定的。我们可以这样认为，随机漫步就是蚂蚁在晕头转向的情况下，每次都沿随机的方向前行所经过的路径。    在自然界、物理学、生物学、化学和经济学领域，随机漫步都有其实际用途。例如，漂浮在水滴上的花粉因不断受到水分子的挤压而在水面上移动。水滴中的分子运动也是随机的，因此花粉在水面上的运动路径犹如随机漫步。我们稍后将编写的代码模拟了现实世界的很多情形。

15.3.1  创建RandomWalk()类    为模拟随机漫步，我们将创建一个名为RandomWalk()的类，它随机地选择前进方向。这个类需要三个属性，其中一个是存储随机漫步次数的变量，其他两个是列表，分别存储随机漫步经过的每个点的x和y坐标。    RandomWalk()类只包含两个方法__init__()和fill_walk()，其中后者计算随机漫步经过的所有点。下面先来看看__init__()，如下所示：

from random import choice

class RandWalk():    ‘‘‘一个生成随机漫步数据的类‘‘‘

def __init__(self,num_points=5000):        ‘‘‘初始化随机漫步的属性‘‘‘        self.num_points = num_points

#所有随机漫步都始于(0,0)        self.x_values = 0        self.y_values = 0    为做出随机决策，我们将所有可能的选择都存储在一个列表中，并在每次做决策时都使用choice()来决定使用那种选择。接下来，我们将随机漫步包含的默认点数设置为5000，这大到足以生成有趣的模式，同时又足够小，可确保能够快速地模拟随机漫步。然后，我们创建了两个用于存储x值和y值的列表，并让每次漫步都从点(0,0)出发。

15.3.2  选择方向    我们将使用fill_walk()来生成漫步包含的点，并决定每次漫步的方向，如下所示。请将这个方法添加到random_walk.py中：

def fill_walk(self):    ‘‘‘计算随机漫步包含的所有点‘‘‘

#不断漫步，知道列表达到指定的长度    while len(self.x_values) < self.num_points:                                --（1）        #决定前进方向以及沿这个方向前进的距离        x_direction = choice([1,-1])                                           --（2）        x_distance = choice([0,1,2,3,4])        x_step = x_direction * x_distance                                      --（3）

y_direction = choice([1,-1])        y_distance = choice([0,1,2,3,4])        y_step = y_direction * y_distance                                       --（4）

#拒绝原地踏步        if x_step == 0 and y_step == 0:                                         --（5）            continue

#计算下一个点的x和y值        next_x = self.x_values[-1] + x_step                                     --（6）        next_y = self.y_values[-1] + y_step

self.x_values.append(next_x)        self.y_values.append(next_y)    在(1)处，我们建立了一个循环，这个循环不断运行，直到漫步包含所需数量的点。这个方法的主要部分告诉Python如何模拟四种漫步决定：向右走还是向左走？沿指定的方向走多远？向上走还是向下走？沿选定的方向走多远？    我们使用choice([1,-1])给x_direction选择一个值，结果要么是表示向右走的1，要么是表示向左走的-1。接下来，choice([0,1,2,3,4])随机地选择一个0～4之间的整数，告诉python沿指定的方向走多远（x_distance)。（通过包含0，我们不仅能够沿着两个轴移动，还能够沿y轴移动。）    在(3)和(4)处，我们将移动方向乘以移动距离，以确定沿x和y轴移动的距离。如果x_step为正，将向右移动，为负将向左移动，而为零将垂直移动；如果y_step为正，就意味着向上移动，为负则意味着向下移动，而为零则意味着水平移动。如果x_step和y_step都为零，则意味着原地踏步，我们拒绝这样的情况，接着执行下一次循环。    为获取漫步中下一个点的x值，我们将x_step与x_values中的最后一个值相加，对于y值也做相同的处理。获得下一个点的x值和y值后，我们将它们分别附加到列表x_values和y_values的末尾。

15.3.3  绘制随机漫步图    下面的代码将随机漫步的所有点都绘制出来：import matplotlib.pyplot as plt

from random_walk import RandWalk

#创建一个RandWalk实例，并将其包含的点都绘制出来rw = RandWalk()                                                （1）rw.fill_walk()plt.scatter(rw.x_values,rw.y_values,s=15)                      （2）plt.show()

import matplotlib.pyplot as plt

from random_walk import RandWalk

#创建一个RandWalk实例，并将其包含的点都绘制出来rw = RandWalk()rw.fill_walk()plt.scatter(rw.x_values,rw.y_values,s=15)plt.show()