AI专业者开发社区 1 号成员
  •  0 回帖  •  11 浏览  •  4 个月前
   

python接口自动化（三十八）-python操作mysql数据库（详解）

简介

　　现在的招聘要求对 QA 人员的要求越来越高，测试的一些基础知识就不必说了，来说测试知识以外的，会不会一门或者多门开发与语言，能不能读懂代码，会不会 Linux，会不会搭建测试系统，会不会常用的数据库，会不会 SQL 等等，因此我们这篇文章来讲解如何用

python 语言操作 mysql 数据库。

 本科阶段曾学过使用 java 对 MySQL 数据库进行操作，基本思路是先连接数据库，然后执行 SQL 语句对数据库进行操作，最后打印结果并断开连接。使用 Python 操作数据库的流程和以上过程基本一致，在对其进行介绍之前，先介绍一些基本的概念。

基本概念

python 操作数据库的流程

以流程图的方式展示 python 操作 MySQL 数据库的流程：

　　对上图的解读：首先检查是否依次创建 Connection 对象（数据库连接对象）用于打开数据库连接，创建 Cursor 对象（游标对象）用于执行查询和获取结果；然后执行 SQL 语句对数据库进行增删改查等操作并提交事务，此过程如果出现异常则使用回滚技术使数据库恢

复到执行 SQL 语句之前的状态；最后，依次销毁 Cursor 对象和 Connection 对象，以避免多计算机内存过多的占用和浪费。

　　下面依次对 Connection 对象、Cursor 对象和事务等概念进行介绍。

Connection 对象

Connection 对象即为数据库连接对象，在 python 中可以使用 pymysql.connect() 方法创建 Connection 对象，该方法的常用参数如下：

host：连接的数据库服务器主机名，默认为本地主机（localhost）；字符串类型（String） 。

user：用户名，默认为当前用户；字符串类型（String） 。

passwd：密码，无默认值；字符串类 （String）。

db：数据库名称，无默认值；字符串类型（String） 。

port：指定数据库服务器的连接端口，默认为 3306；整型（int）。

charset：连接字符集；字符串类型（String）

Connection 对象常用的方法如下：

cursor()：使用当前连接创建并返回游标 。

commit()：提交当前事务 。

rollback()：回滚当前事务 。

close()：关闭当前连接

Cursor 对象

Cursor 对象即为游标对象，用于执行查询和获取结果，在 python 中可以使用 conn.cursor() 创建，conn 为 Connection 对象。Cursor 对象常用的方法和属性如下：

execute()：执行数据库查询或命令，将结果从数据库获取到客户端 fetchone()：获取结果集的下一行 fetchmany()：获取结果集的下几行 fetchall()：获取结果集中剩下的所有行 close()：关闭当前游标对象 rowcount：最近一次的 execute 返回数据的行数或受影响的行数

事务

1、事务机制可以确保数据一致性。

事务是数据库理论中一个比较重要的概念，指访问和更新数据库的一个程序执行单元，具有 ACID 特性：

  • 原子性（atomicity）。一个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么都不做。
  • 一致性（consistency）。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。
  • 隔离性（isolation）。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的，并发执行的各个事务之间不能互相干扰。
  • 持久性（durability）。持续性也称永久性（permanence），指一个事务一旦提交，它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。

在开发时，我们以以下三种方式使用事务：

正常结束事务：conn.commit()异常结束事务：conn.rollback() 关闭自动 commit：设置 conn.autocommit(False)

2 、使用 python 实现对 MySQL 数据库的增删改查等操作

在 python 中操作 MySQL 数据库时，要使用的模块是：

Python2 中：mysqldb（pip2 install mysqldb） Python3 中：pymysql（pip3 install pymysql）

本篇博客所使用的环境为：

python 3.7 win 10 pycharm 2018.3.5 pymysql 0.9.2 mysql 5.6 

下面将以具体代码的形式依次介绍 python 中如何实现对 MySQL 数据库的增删改查等操作。

python 操作数据库

Python 标准数据库接口为 Python DB-API，Python DB-API 为开发人员提供了数据库应用编程接口。

Python 数据库接口支持非常多的数据库，你可以选择适合你项目的数据库：

  • GadFly
  • mSQL
  • MySQL（小公司、小厂首选）
  • PostgreSQL
  • Microsoft SQL Server 2008（中型厂、中等公司首选）
  • Informix
  • Interbase
  • Oracle（大厂、大企业首选）
  • Sybase

你可以访问Python 数据库接口及 API查看详细的支持数据库列表。

不同的数据库你需要下载不同的 DB API 模块，例如你需要访问 Oracle 数据库和 Mysql 数据，你需要下载 Oracle 和 MySQL 数据库模块。

DB-API 是一个规范. 它定义了一系列必须的对象和数据库存取方式, 以便为各种各样的底层数据库系统和多种多样的数据库接口程序提供一致的访问接口 。

Python 的 DB-API，为大多数的数据库实现了接口，使用它连接各数据库后，就可以用相同的方式操作各数据库。

Python DB-API 使用流程：

  • 引入 API 模块。
  • 获取与数据库的连接。
  • 执行 SQL 语句和存储过程。
  • 关闭数据库连接。

什么是 MySQLdb?

PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2 中则使用 mysqldb。

PyMySQL 遵循 Python 数据库 API v2.0 规范，并包含了 pure-Python MySQL 客户端库。

如何安装 MySQLdb?

在使用 PyMySQL 之前，我们需要确保 PyMySQL 已安装。

PyMySQL 下载地址：https://github.com/PyMySQL/PyMySQL。

如果还未安装，我们可以使用以下命令安装最新版的 PyMySQL：

1 pip install PyMySQL

 

如果你的系统不支持 pip 命令，可以使用以下方式安装：

1、使用 git 命令下载安装包安装 (你也可以手动下载)：

1 git clone https://github.com/PyMySQL/PyMySQL
2 cd PyMySQL/
3 python3 setup.py install

2、如果需要制定版本号，可以使用 curl 命令来安装：

1 # X.X 为 PyMySQL 的版本号
2 url -L https://github.com/PyMySQL/PyMySQL/tarball/pymysql-X.X | tar xz
3 cd PyMySQL*
4 python3 setup.py install
5 # 现在你可以删除 PyMySQL* 目录

注意：请确保您有 root 权限来安装上述模块。

安装的过程中可能会出现 "ImportError: No module named setuptools" 的错误提示，意思是你没有安装 setuptools，你可以访问https://pypi.python.org/pypi/setuptools 找到各个系统的安装方法。

Linux 系统安装实例：

1 $ wget https://bootstrap.pypa.io/ez_setup.py
2 $ python3 ez_setup.py

数据库连接

连接数据库前，请先确认以下事项：

  • 您已经创建了数据库 TESTDB（测试数据库）
  • 在 TESTDB 数据库中您已经创建了表 EMPLOYEE（测试用的测试表）
  • EMPLOYEE 表字段为 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。
  • 连接数据库 TESTDB（测试数据库）使用的用户名为 "testuser" ，密码为 "test123", 你可以可以自己设定或者直接使用 root 用户名及其密码，Mysql 数据库用户授权请使用 Grant 命令。
  • 在你的机子上已经安装了 Python MySQLdb 模块。
  • 如果你对 sql 语句不熟悉，可以自己先简单的学习一下

1、查看有没有创建数据库 TESTDB（测试数据库），打开 MySQL 的 client 界面输入密码 后，输入命令：

1 show databases;

2、看到没有那个数据库，那我们就开始创建一个 TESTDB 数据库，输入命令：

1 create database TESTDB;

3、再次输入第一步的命令查看，看到已经成功创建

 

4、查看 TESTDB 数据库里，有没有 EMPLOYEE（测试用的测试表），输入命令：

1 use testdb;
2 show tables;

5、查看到在 TESTDB 数据库中没有 EMPLOYEE 表，那么没有我们就创建一张 EMPLOYEE 表即可。

创建一个实例

运行结果：（从结果中我们可以看见成功创建了一个 Connection 和 Cursor 对象。）

下面将以具体代码的形式依次介绍 python 中如何实现对 MySQL 数据库的增删改查等操作。

实例：

1、连接数据库

运行结果：

参考代码：

 1 # coding=utf-8
 2 # 1. 先设置编码，utf-8 可支持中英文，如上，一般放在第一行
 3 
 4 # 2. 注释：包括记录创建时间，创建人，项目名称。
 5 '''
 6 Created on 2019-5-22
 7 @author: 北京 -宏哥
 8 Project: 学习和使用 python 操作 MySQL 数据库
 9 '''
10 # 3. 导入模块
11 import pymysql
12 
13 import pymysql
14 
15 # 打开数据库连接
16 conn = pymysql.connect('localhost', 'root', 'root', 'testdb')
17 
18 # 使用 cursor() 方法创建一个游标对象
19 cursor = conn.cursor()
20 
21 # 使用 execute() 方法执行 SQL 查询
22 cursor.execute('SELECT VERSION()')
23 
24 # 使用 fetchone() 方法获取单条数据
25 data = cursor.fetchone()
26 
27 # 打印
28 print('database version: %s' % data)
29 
30 # 关闭数据库连接
31 conn.close()

2、创建数据库表

如果数据库连接存在我们可以使用 execute() 方法来为数据库创建表，如下所示创建表 EMPLOYEE：

运行代码后查看有没有表创建，输入命令：

1 use TESTDB；
2 show tables;

运行结果：

参考代码：

 1 # coding=utf-8
 2 # 1. 先设置编码，utf-8 可支持中英文，如上，一般放在第一行
 3 
 4 # 2. 注释：包括记录创建时间，创建人，项目名称。
 5 '''
 6 Created on 2019-5-22
 7 @author: 北京 -宏哥
 8 Project: 学习和使用 python 操作 MySQL 数据库
 9 '''
10 # 3. 导入模块
11 import pymysql
12 
13 import pymysql
14 
15 # 打开数据库连接
16 conn = pymysql.connect('localhost', 'root', 'root', 'testdb')
17 
18 # 使用 cursor() 方法创建一个游标对象 cursor
19 cursor = conn.cursor()  # 游标对象用于执行查询和获取结果
20 
21 # 使用 execute() 方法执行 SQL，如果表存在则将其删除
22 cursor.execute('DROP TABLE IF EXISTS EMPLOYEE')
23 
24 # 使用预处理语句创建表
25 sql = """CREATE TABLE `employee` (
26   `first_name` varchar(255) DEFAULT NULL COMMENT '姓',
27   `last_name` varchar(255) DEFAULT NULL COMMENT '名',
28   `age` int(11) DEFAULT NULL COMMENT '年龄',
29   `sex` varchar(255) DEFAULT NULL COMMENT '性别',
30   `income` varchar(255) DEFAULT NULL COMMENT '收入'
31 ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
32 """
33 
34 # 执行 SQL 语句
35 cursor.execute(sql)
36 
37 # 关闭数据库连接
38 conn.close()

3、数据库插入操作

以下实例使用执行 SQL INSERT 语句向表 EMPLOYEE 插入记录：

1、首先查询有没有记录输入查询语句：

1 select * from employee;

2、代码实现

运行结果：

再次查看有没有记录，输入第一步的 sql 语句：（可以看到插入一条记录）

参考代码：

# coding=utf-8
# 1. 先设置编码，utf-8 可支持中英文，如上，一般放在第一行

2. 注释：包括记录创建时间，创建人，项目名称。


'''
Created on 2019-5-22
@author: 北京-宏哥
Project: 学习和使用 python 操作 MySQL 数据库
'''
# 3. 导入模块
import pymysql


import pymysql


打开数据库连接


conn = pymysql.connect('localhost', 'root', 'root', 'testdb')


使用 cursor() 方法获取操作游标


cursor = conn.cursor()


SQL 语句：向数据表中插入数据


sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
         LAST_NAME, AGE, SEX, INCOME)
VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""


异常处理


try:
# 执行 SQL 语句
cursor.execute(sql)
# 提交事务到数据库执行
conn.commit()  # 事务是访问和更新数据库的一个程序执行单元
except:
# 如果发生错误则执行回滚操作
conn.rollback()


关闭数据库连接


conn.close()

另一种写法：

# coding=utf-8
# 1. 先设置编码，utf-8 可支持中英文，如上，一般放在第一行

2. 注释：包括记录创建时间，创建人，项目名称。


'''
Created on 2019-5-22
@author: 北京-宏哥
Project: 学习和使用 python 操作 MySQL 数据库
'''
# 3. 导入模块
import pymysql


import pymysql


打开数据库连接


conn = pymysql.connect('localhost', 'root', 'root', 'testdb')


使用 cursor() 方法获取操作游标


cursor = conn.cursor()


SQL 语句：向数据表中插入数据


sql = "INSERT INTO EMPLOYEE(FIRST_NAME, </span>
       LAST_NAME, AGE, SEX, INCOME) 
VALUES ('%s', '%s',  %s,  '%s',  %s)" % </span>
('Mac', 'Mohan', 20, 'M', 2000)


异常处理


try:
# 执行 SQL 语句
cursor.execute(sql)
# 提交事务到数据库执行
conn.commit()  # 事务是访问和更新数据库的一个程序执行单元
except:
# 如果发生错误则执行回滚操作
conn.rollback()


关闭数据库连接


conn.close()

实例：

以下代码使用变量向 SQL 语句中传递参数:

1 ..................................
2 user_id = "root"
3 password = "root"
4 
5 con.execute('insert into Login values(%s,  %s)' % \
6              (user_id, password))
7 ..................................

3、数据库查询操作

Python 查询 Mysql 使用 fetchone()方法获取单条数据, 使用 fetchall() 方法获取多条数据。

  • fetchone(): 该方法获取下一个查询结果集。结果集是一个对象
  • fetchall():接收全部的返回结果行.
  • rowcount: 这是一个只读属性，并返回执行 execute() 方法后影响的行数。

实例：

查询 EMPLOYEE 表中 salary（工资）字段大于 1000 的所有数据：

运行结果：

参考代码：

 1 # coding=utf-8
 2 # 1. 先设置编码，utf-8 可支持中英文，如上，一般放在第一行
 3 
 4 # 2. 注释：包括记录创建时间，创建人，项目名称。
 5 '''
 6 Created on 2019-5-22
 7 @author: 北京 -宏哥
 8 Project: 学习和使用 python 操作 MySQL 数据库
 9 '''
10 # 3. 导入模块
11 import pymysql
12 
13 import pymysql
14 
15 # 打开数据库连接
16 conn = pymysql.connect('localhost', 'root', 'root', 'testdb')
17 
18 # 使用 cursor() 方法获取操作游标
19 cursor = conn.cursor()
20 
21 # SQL 语句：查询
22 sql = "SELECT * FROM employee WHERE income > 1000 "
23 
24 # 异常处理
25 try:
26     # 执行 SQL 语句
27     cursor.execute(sql)
28     # 获取所有的记录列表
29     results = cursor.fetchall()
30     # 遍历列表
31     for row in results:
32         # 打印列表元素
33         print(row)
34         # 姓
35         first_name = row[0]
36         # 名
37         last_name = row[1]
38         # 年龄
39         age = row[2]
40         # 性别
41         sex = row[3]
42         # 收入
43         income = row[4]
44         # 打印列表元素
45         print(first_name, last_name, age, sex, income)
46 except:
47     print('Uable to fetch data!')
48 
49 # 关闭数据库连接
50 conn.close()

4、数据库更新操作

更新操作用于更新数据表的的数据，以下实例将 EMPLOYEE 表中的 SEX 字段为 'M' 的 AGE 字段递增 5：

1、以前 age 是 20，

2、代码实现：

3、运行结果：

4、查询 age 变更到 25 了没有

5、参考代码：

# coding=utf-8
# 1. 先设置编码，utf-8 可支持中英文，如上，一般放在第一行

2. 注释：包括记录创建时间，创建人，项目名称。


'''
Created on 2019-5-22
@author: 北京-宏哥
Project: 学习和使用 python 操作 MySQL 数据库
'''
# 3. 导入模块
import pymysql


import pymysql


打开数据库连接


conn = pymysql.connect('localhost', 'root', 'root', 'testdb')


使用 cursor() 方法获取操作游标


cursor = conn.cursor()


SQL 语句，执行更新操作


sql = 'UPDATE employee SET age = age + 5 WHERE sex = "M"'


异常处理


try:
# 执行 SQL 语句
cursor.execute(sql)
# 提交到数据库执行
conn.commit()
except:
# 发生错误时回滚
conn.rollback()


关闭数据库连接


conn.close()

5、删除操作

删除操作用于删除数据表中的数据，以下实例演示了删除数据表 EMPLOYEE 中 AGE 大于 20 的所有数据：

1、大于 20 的只有一条，删除了就没有记录了，输入

1  select * from employee;

2、代码实现

 

3、运行结果

4、查看数据库表，重复第一步

 

5、参考代码

 1 # coding=utf-8
 2 # 1. 先设置编码，utf-8 可支持中英文，如上，一般放在第一行
 3 
 4 # 2. 注释：包括记录创建时间，创建人，项目名称。
 5 '''
 6 Created on 2019-5-22
 7 @author: 北京 -宏哥
 8 Project: 学习和使用 python 操作 MySQL 数据库
 9 '''
10 # 3. 导入模块
11 import pymysql
12 
13 import pymysql
14 
15 # 打开数据库连接
16 conn = pymysql.connect('localhost', 'root', 'root', 'testdb')
17 
18 # 使用 cursor() 方法获取操作游标
19 cursor = conn.cursor()
20 
21 # SQL 语句，执行删除操作
22 sql = 'DELETE FROM employee WHERE age >20'
23 
24 # 异常处理
25 try:
26     # 执行 SQL 语句
27     cursor.execute(sql)
28     # 提交到数据库执行
29     conn.commit()
30 except:
31     # 发生错误时回滚
32     conn.rollback()
33 
34 # 关闭数据库连接
35 conn.close()

执行事务

事务机制可以确保数据一致性。

事务应该具有 4 个属性：原子性、一致性、隔离性、持久性。这四个属性通常称为 ACID 特性。

  • 原子性（atomicity）。一个事务是一个不可分割的工作单位，事务中包括的诸操作要么都做，要么都不做。
  • 一致性（consistency）。事务必须是使数据库从一个一致性状态变到另一个一致性状态。一致性与原子性是密切相关的。
  • 隔离性（isolation）。一个事务的执行不能被其他事务干扰。即一个事务内部的操作及使用的数据对并发的其他事务是隔离的，并发执行的各个事务之间不能互相干扰。
  • 持久性（durability）。持续性也称永久性（permanence），指一个事务一旦提交，它对数据库中数据的改变就应该是永久性的。接下来的其他操作或故障不应该对其有任何影响。

Python DB API 2.0 的事务提供了两个方法 commit 或 rollback。

实例：

 1 # SQL 删除记录语句
 2 sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)
 3 try:
 4    # 执行 SQL 语句
 5    cursor.execute(sql)
 6    # 向数据库提交
 7    db.commit()
 8 except:
 9    # 发生错误时回滚
10    db.rollback()

对于支持事务的数据库， 在 Python 数据库编程中，当游标建立之时，就自动开始了一个隐形的数据库事务。

commit() 方法游标的所有更新操作，rollback（）方法回滚当前游标的所有操作。每一个方法都开始了一个新的事务。

错误处理

DB API 中定义了一些数据库操作的错误及异常，下表列出了这些错误和异常:

异常描述
Warning 当有严重警告时触发，例如插入数据是被截断等等。必须是 StandardError 的子类。
Error 警告以外所有其他错误类。必须是 StandardError 的子类。
InterfaceError 当有数据库接口模块本身的错误（而不是数据库的错误）发生时触发。 必须是 Error 的子类。
DatabaseError 和数据库有关的错误发生时触发。 必须是 Error 的子类。
DataError 当有数据处理时的错误发生时触发，例如：除零错误，数据超范围等等。 必须是 DatabaseError 的子类。
OperationalError 指非用户控制的，而是操作数据库时发生的错误。例如：连接意外断开、 数据库名未找到、事务处理失败、内存分配错误等等操作数据库是发生的错误。 必须是 DatabaseError 的子类。
IntegrityError 完整性相关的错误，例如外键检查失败等。必须是 DatabaseError 子类。
InternalError 数据库的内部错误，例如游标（cursor）失效了、事务同步失败等等。 必须是 DatabaseError 子类。
ProgrammingError 程序错误，例如数据表（table）没找到或已存在、SQL 语句语法错误、 参数数量错误等等。必须是 DatabaseError 的子类。
NotSupportedError 不支持错误，指使用了数据库不支持的函数或 API 等。例如在连接对象上 使用.rollback() 函数，然而数据库并不支持事务或者事务已关闭。 必须是 DatabaseError 的子类。

小结

 　　哈哈，终于搞完了、整完了，累死宝宝了，已到半夜，明天有时间分享！！！

　　小伙伴 python 操作 MySQL 数据库就是这么简单！！！最重要的自己要会、要有扎实的 SQL 基础。