前情提要

第 9 课补

• arr[2, :]

• np.ix_()

  import numpy as np
  
  arr2 = np.arange(32).reshape((8,4))
  print(arr2)
  
  arr2[np.ix_([1,5,7,2],[0,3,1,2])]
  
  arr2[np.ix_([1,5,7,2],[0,1,2])]

第 9 课答案

1. 略

2. 3. numpy.random.randint

      np.random.seed(3)
      x1 = np.random.randint(low=1, high=10, size=100)
      np.save("save.npy", x1)
      
      x1 = np.load("save.npy")
      print(x1)

课程纲要

• 数学计算

  • 逻辑运算np.where np.all() np.any()

  arr = np.random.rand(2, 3)
  result = np.where(arr > 0.5, 1, 0)
  #   condition ? arr1: arr2
  arr = np.random.rand(2, 3)
  result = np.all(arr > 0.1)

  • 集合运算：文档

  arr = np.array([2, 2, 3, 3, 1])
  result = np.unique(arr)

  • 线性代数：numpy.linalg 库文档

  • np.trace np.inner()

  • linalg.qr linalg.svd

    arr = np.array([[2, 2, 3, 3], [4, 3, 2, 1]])
    U, s, V = np.linalg.svd(arr)

  • 统计运算

  • 求和 arr.sum(axis=0)

    arr = np.random.rand(2, 3)
    result = np.sum(arr)
    
    result = np.sum(arr > 0.5)    #   根据条件求真值的和

  • 最值 arr.max() arr.min() arr.argmin() arr.argmax() 文档

    arr = np.random.rand(2, 3)
    result = np.max(arr)
    
    arr = np.random.rand(2, 3)
    result = np.argmin(arr)

  • 算术平均数 np.mean()

    arr = np.random.rand(2, 3)
    result = np.mean(arr)

  • 标准差、方差 np.std() np.var()

• Numpy 的形状操作

  • 添加维度

  arr = np.array([1, 2, 3])
  result = arr[np.newaxis, :, ]
  print(arr)
  print(result)

  • 改变维度个数和大小 np.resize() np.reshape() ，前者改变源数组，后者不会。

  arr = np.random.random((4, 4))
  print(arr)
  arr.resize((2, 3))
  print(arr)
  arr.resize((1))
  print(arr)

• NumPy 的广播原理

  • 维度和维度大小

  • 广播（broadcasting)

  • 什么是广播

    arr = np.ones((2, 4))
    arr2 = 1
    print(arr)
    print(arr2)
    print(arr + arr2)

  • 规则1：数组维度和大小，从后往前有连续的相同部分

    arr = np.ones((2, 4, 4))
    arr2 = np.ones((4, 4))

  • 规则2：不相同的部分维度大小为1

    arr = np.zeros((2, 4, 4))
    arr2 = np.ones((1, 1))

• Matplotlib

  • 画一个三角函数吧

  import numpy as np
  import matplotlib.pyplot as plt
  
  X = np.linspace(-np.pi, np.pi, 100)
  COS, SIN = np.cos(X), np.sin(X)
  ax = np.zeros(100)
  plt.plot(COS)
  plt.plot(SIN)
  plt.plot(ax)
  plt.show()
  

讲的是利用Python进行数据控制、处理、整理、分析等方面的具体细节和基本要点。

• 为什么是 Python 用于数据分析？

  1. Python 成功的部分原因是其能轻松地集成和调用 C、C++、Fortran 代码。大部分现代计算软件利用了一些 Fortran和 C 库来实现线性代数、积分、快速傅里叶变换等算法。许多企业和国家实验室也利用 Python 粘合来已经用了30多年的遗留软件系统。
  2. Python 和自然语言相似，很多科研人员和程序员非常喜欢，因此产生了第3点👇。
  3. Python 有很多高效、实用的类库，并可以方便地建立网站、爬取数据、数据分析、进行机器学习。

• 库以及 pip 软件管理

  • library （类、库）是什么

  import time
  from time import sleep

  • pip 类库管理

  • pip 文档地址：https://pypi.org/project/pip/

  • 更换数据源：清华源地址

    • 升级 pip 到最新的版本 (>=10.0.0) 后进行配置：

    pip install pip -U
    pip config set global.index-url https://mirrors.cloud.tencent.com/pypi/simple/
    pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
    # 阿里源
    pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
    # 腾讯源
    pip config set global.index-url http://mirrors.cloud.tencent.com/pypi/simple
    # 豆瓣源
    pip config set global.index-url http://pypi.douban.com/simple/

  • 如果您到 pip 默认源的网络连接较差，临时使用本镜像站来升级 pip：

    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pip -U

  • 安装

    python -m pip install SomePackage            # latest version
    python -m pip install SomePackage==1.0.4     # specific version
    python -m pip install 'SomePackage>=1.0.4'     # minimum version
    # -m 的含义表示将库当作脚本来执行。
    pip install SomePackage            # latest version
    pip install SomePackage==1.0.4     # specific version
    pip install 'SomePackage>=1.0.4'     # minimum version
    pip freeze > requirements.txt
    pip install -r requirements.txt
    pip list  #   list installed packages

  • 卸载

    python -m pip uninstall SomePackage

  • 更新

    pip install package_name --upgrade

  • 科学计算的常用类库：

  • NumPy 是以矩阵为基础的数值计算模块，提供高性能的数组对象。文档地址：http://www.numpy.org/

  • Pandas 是基于 NumPy 的一种工具，纳入了一些标准的数据模型，提供了处理数字图表和时序数据的数据结构和操作功能，常用于金融数据分析。文档地址：https://pandas.pydata.org/

  • Scipy 是基于 NumPy 的一种高级数据处理工具，提供最优化、回归、插值、线性代数模块、傅里叶变换、信号和图像处理，常微分方程求解器等功能。文档地址：http://www.scipy.org/

  • Matplotlib 是2D绘图工具，常用于可视化展示数据。文档地址：http://matplotlib.org/

  • 其他类库

  • seaborn 是基于 Matplotlib 的更加美观的绘图工具。文档地址：https://seaborn.pydata.org/

  • anaconda 是科学计算常用的环境管理工具，什么是环境？

• NumPy 初步

  • Python 自带的数据类型性能低。

  • jupyter 文档地址 pip install jupyterlab

  • 数据类型：ndarray

  • 特点：数组里面每一个元素是相同类型。

  • 手动创建数组

    import numpy as np    # 推荐如此导入Numpy
    vec = np.array([0, 1, 2, 3])
    mat = np.array([[0, 1, 2], [3, 4, 5]])
    mat.ndim
    mat.shape
    mat.dtype
    len(mat)    

  • 函数创建数组

    a = np.arange(9)
    b = np.arange(2, 2, 2)

• 指定长度的数组

    c = np.linspace(1, 6, 6) 

• 特殊的数组

    np.ones((2, 2)) # tuple
    np.eye(3) #   单位矩阵
    np.diag(np.array([1, 2, 3, 4]))   #   对角阵
    np.random.rand(4) #   随机数组
  
    np.random.seed(0)  # 设定随机种子，保证实验的可重现
    x1 = np.random.randint(10, size=6)  # 一维数组
    x2 = np.random.randint(10, size=(3, 4))  # 二维数组
    x3 = np.random.randint(10, size=(3, 4, 5))  # 三维数组

• 内置数据类型

  • 明确定义数组数据类型：（默认数据类型是浮点型）

      tmp = np.array([1, 2, 3], dtype=float)

  • 所有内置类型

      f = np.array([1+2j, 3+4j, 5+6*1j])  #   j为虚部
      f.dtype
      b = np.array([True, False, False, True])
      s = np.array(['Bonjour', 'Hello', 'Hallo',])
      # int32
      # int64
      # uint32
      # uint64

  • 更多内容在下节

课后作业

• 安装 pip 环境，和那几个数据分析库并且运行上述代码。

课程代码链接

• 类设计

  • 参数传递

  • 作用域的实质

  • 内存绑定 : 如何编写带输出参数的函数（通过引用调用）？

  • 不可更改的类型	可以修改的类型
    string	list
    tuple	dict
    float
    int
    float

  • 保护数据

  • 私有属性 self.__name

  • 私有方法 self.__function_name()

  • 继承与多态

  • 理解为子承父业。

  • 父类（基类）和子类（派生类）

  • 覆盖方法

  • 多态：不同类型调用不同的实现。

• dict 字典 {key: value}

  • 增 dict_name [key] = value
  • 删 del dict_name[key] dict_name.get()
  • 改 dict_name[key] = value
  • 查 dict_name[key]

课程提纲

面向对象的类

• 类（类型），是特殊的数据结构
• 为什么要有类和对象？封装，把代码实现的细节覆盖。类就像一条生产线，就像一个完美模具。柏拉图的理型论认为：先有了这个理型世界，然后这个世界会按照这个完美的模子发展着。
• 类设计：数据与行为（鸭子的模具，数据：声音、形状、颜色，行为：叫、游泳）
  • 方法：类中定义的函数。（鸭子的行为）
  • 对象：通过类定义的数据结构实例。（用模具创造一个鸭子）
  • 定义一个类（设计一个鸭子的模具）
  • class
  • def __init__
  • self 代表类的实例，而非类
  • 创建和使用
  • instance.method_name() instance.member
  • class_name.method_name() class_name.member

计算机领域的数据结构（了解即可）：集合、数组、队列、栈、树、图等

• 集合关系 set
  • 结构：元素无序地组织
  • 操作：{交、并、补 | 集合与集合之间}、{ 存、取、查找 | 集合内元素 }
  • 例子：是否有人迟到？
• 线性结构，一对一，前驱后继关系
  • 列表
  • 队列（可用list实现），先进先出 queue
    • 结构：像排队一样
    • 操作：增add() 、删pop()
  • 栈（可用list实现），先进后出
    • 结构：像桶一样
    • 操作：增、删
• 树状结构，一对多
  • 二叉树
    • 结构：像族谱图
    • 
  • m叉树
• 图状结构，多对多
  • 图
    • 结构：像地图一样
    • 操作：增、删
• 特殊的数据结构
  • 字典 dict

Python 中的数据结构

集合关系 set

• 结构：元素无序地组织 \ 无重复元素
• 操作：初始化 set() {}
  • 逻辑运算 not ==
  • 增 add()
  • 删 remove(key) clear() pop()
  • 改 不可改！
  • 查 in
  • 交 setA & setB 并 setA | setB 差集setA - setB 对等差分 setA ^ setB

课后作业

注：那个爬虫作业取消，感觉还是太难，爬虫代码在这：https://github.com/xrandx/Dating-with-python-this-winter/blob/master/douban_book.py （存在 bug：定位的逻辑不对，只能爬页数大于1且小于11的读书页面）

队列（queue）是一种先进先出（FIFO, First-In-First-Out）的、操作受限的线性表。在具体应用中通常用链表或者数组来实现。

队列只允许在后端（称为rear）进行插入操作，在前端（称为front）进行取出操作。队列的容量是它能容纳元素的多少，队列的大小是元素已经占用的空间多少。

请定义一个 Queue 类，基于 list 实现如下的方法：

    queue = Queue()
    queue.enqueue()  # 将任意对象从队尾入队
    queue.dequeue()  #  使队头对象出队
    queue.size()  # 返回队列的长度(int)
    queue.capcity() #   返回队列的容量(int)
    queue.is_full() #   队列是否已满(bool)
    queue.is_empty()    #   队列是否为空 (bool)