"通常在前期调试代码的时候，我们会使用 print 在 IDE 控制台打印一些信息，判断运行情况。但在运行整个自动化测试项目的过程中，通过 print 打印信息的方式获取运行情况显然行不通。这时就需要收集日志，每次运行后通过查看日志来获取项目运行情况。那么我们该如何获取日志？一，日志概述 1，日志 ...."

someone1
AI专业者开发社区 1 号成员
AI开发者社区 • 0 回帖 • 8 浏览 • 4 个月前

Python日志采集（详细）

通常在前期调试代码的时候，我们会使用 print 在 IDE 控制台打印一些信息，判断运行情况。但在运行整个自动化测试项目的过程中，通过 print 打印信息的方式获取运行情况显然行不通。
这时就需要收集日志，每次运行后通过查看日志来获取项目运行情况。那么我们该如何获取日志？

一，日志概述

1，日志作用

在项目开发或测试过程中，项目运行一旦出现问题，记录日志信息就显得尤为重要。主要通过日志来定位问题，就好比侦探人员要根据现场留下的线索来推断案情。

2，日志级别

代码在运行的过程中会出现不同的情况，如调试信息、警告信息、报错等，那么采集日志时就需要对这些日志区分级别管理，这样才能更精确地定位问题。日志级别一般分类如下（以严重程度递增排序）：

级别	何时使用
DEBUG	调试信息，也是最详细的日志信息
INFO	证明事情按预期工作
WARNING	表明发生了一些意外，或不久的将来会发生问题（如磁盘满了），软件还是正常工作
ERROR	由于更严重的问题，软件已经不能执行一些工作了
CRITICAL	严重错误，表明软件已经不能继续运行了

日志级别排序为：CRITICAL > ERROR > WARNING > INFO > DEBUG

日志采集时设置低级别的日志，能采集到更高级别的日志，但不能采集到更低级别的日志。

例如：设置的日志级别为 info 级别，就只能采集到 info、warning、error、critical 级别的日志，不能采集到 debug 级别的日志。设置的日志级别为 debug 级别的话则能采集到所有级别的日志。默认设置级别为 WARNING。
在自动化测试项目中，通常在一般情况时使用 info 日志，预计报错则使用 error 日志。

3，日志格式

将日志格式化是为了提高日志的可阅读性，比如：时间 + 模块 + 行数 + 日志级别 + 日志具体信息 的日志格式。如果输出的日志信息杂乱无章，就不利于问题的定位。如下所示就是日志格式化输出，非常便于阅读查看。

2020-09-30 10:45:05,119 logging_test.py[line:7] DEBUG this is debug message.
2020-09-30 10:45:05,119 logging_test.py[line:9] INFO this is info message.
2020-09-30 10:45:05,119 logging_test.py[line:11] WARNING this is warning message.
2020-09-30 10:45:05,120 logging_test.py[line:13] ERROR this is error message.
2020-09-30 10:45:05,120 logging_test.py[line:15] CRITICAL this is critical message.

4，日志位置

通常，在一个项目中会有很多的日志采集点，日志采集点的设置必须结合业务来确定。

比如在执行修改登录密码用例前插入“开始执行修改登录密码用例...”的日志信息。再比如在登录代码执行前可以插入“准备登录...”日志信息。

如果在登录完成后，再设置登录的提示日志就会给人造成误解，无法判断到底是登录之前的问题还是登录之后的问题，因此日志采集点的位置很重要。

二，logging 模块

1，简介

logging 为 python 自带的日志模块，提供了通用的日志系统，包括不同的日志级别。logging 可使用不同的方式记录日志，如使用文件，HTTP GET/POST，SMTP，Socket 等方式记录。通常情况下，我们使用文件记录日志信息，文件格式一般为.txt 或.log 文件。

2，文档

详细内容可查看logging 模块官方文档，使用时需要导入：

import logging

三，logging 第一种使用方法：简单配置使用

1，使用方法

logging.basicConfig(**kwargs)

2，basicConfig() 部分参数说明

filename 指定日志名称或完整路径，如：E:/app-ui-autotest/log/log.txt

filemode 指定打开文件的模式（如果文件打开模式未指定，则默认为 'a'）

常见的文件读写方式：

w 以写的方式打开
W 清空后写入（文件已存在）
r 以读的方式打开
a 以追加模式打开（即在文件原有的数据后面添加）

format 指定日志输出格式

level 将根记录器级别设置为指定级别

3，示例 1：日志打印至控制台

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
import logging
logging.basicConfig(filename='./log.txt', level=logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d]
%(levelname)s %(message)s')
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')

控制台输出结果：

2020-09-30 10:45:05,119 logging_test.py[line:7] DEBUG This is debug message.
2020-09-30 10:45:05,119 logging_test.py[line:9] INFO This is info message.
2020-09-30 10:45:05,119 logging_test.py[line:11] WARNING This is warning message.
2020-09-30 10:45:05,120 logging_test.py[line:13] ERROR This is error message.
2020-09-30 10:45:05,120 logging_test.py[line:15] CRITICAL This is critical message.

4，示例 2：日志保存至文件

logging.basicConfig(filename='log.txt', level=logging.INFO, 
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')
logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
logging.error('This is error message')
logging.critical('This is critical message')

输出格式：

2020-09-30 10:45:05,119 logging_test.py[line:9] INFO This is info message.
2020-09-30 10:45:05,119 logging_test.py[line:11] WARNING This is warning message.
2020-09-30 10:45:05,120 logging_test.py[line:13] ERROR This is error message.
2020-09-30 10:45:05,120 logging_test.py[line:15] CRITICAL This is critical message.

注意：

相较于控制台打印日志，文件保存日志的区别在于 basicConfig() 方法中加入了 filename 参数（即文件的完整路径）。
保存日志至文件示例中，因为参数 level=logging.INFO，所以 DEBUG 级别的日志未输出

四，logging 的第二种使用方式：日志流处理流程

1，logging 四大组件介绍

logging 模块包括Logger，Handler，Filter，Formatter四个部分。

Logger 记录器，用于设置日志采集。
Handler 处理器，将日志记录发送至合适的路径。
Filter 过滤器，提供了更好的粒度控制，它可以决定输出哪些日志记录。
Formatter 格式化器，指明了最终输出中日志的格式。

2，Logger 记录器

使用日志流采集日志时，须先创建 Logger 实例，即创建一个记录器（如果没有显式的进行创建，则默认创建一个 root logger，并应用默认的日志级别 WARNING，Handler 和 Formatter），然后做以下三件事：

为程序提供记录日志的接口
根据过滤器设置的级别对日志进行过滤
将过滤后的日志根据级别分发给不同 handler

3，Handler 处理器

Handler 处理器作用是，将日志记录发送至合适的路径。如发送至文件或控制台，此时需要使用两个处理器，用于输出控制台的处理器，另一个是用于输出文件的处理器。通过 addHandler() 方法添加处理器。常用的处理器类型有以下两种：

3.1，StreamHandler

将日志信息发送至 sys.stdout、sys.stderr 或任何类似文件流对象，如在 Pycharm IDE 上显示的日志信息。
构造函数为：StreamHandler(strm)。参数 strm 是一个文件对象，默认是 sys.stderr。

3.2，FileHandler

将日志记录输出发送至磁盘文件。它继承了 StreamHandler 的输出功能，不过 FileHandler 会帮你打开这个文件，用于向一个文件输出日志信息。
构造函数为：FileHandler(filename, mode)。参数 filename 为文件名（文件完整路径），参数 mode 为文件打开方式，默认为 'a' 即在文末追加。

自动化测试使用这两种类型就够了，其他还有 RotatingFileHandler、TimedRotatingFileHandler、NullHandler 等处理器，有兴趣可以查找资料了解。

4，Filter 过滤器

顾名思义是用于过滤，Handlers 与 Loggers 使用 Filters 可以完成比级别更复杂的过滤。不多做介绍，有兴趣可以查找资料了解。

5，Formatter 格式化器

Formatter 用于设置日志的格式与内容，默认的时间格式为 %Y-%m-%d %H:%M:%S，更多格式如下：

格式	描述
%(levelno)s	打印日志级别的数值
%(levelname)s	打印日志级别的名称
%(pathname)s	打印当前执行程序的路径
%(filename)s	打印当前执行程序的名称
%(funcName)s	打印日志的当前函数
%(lineno)d	打印日志的当前行号
%(asctime)s	打印日志的时间
%(thread)d	打印线程 ID
%(threadName)s	打印线程名称
%(process)d	打印进程 ID
%(message)s	打印日志信息

6，使用示例：将日志输出至控制台，同时保存至文件

根据 logging 的模块化来编写代码，思路参考如下。

目录结构

logging_test.py

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
import logging
# 第一步，创建日志记录器
# 1，创建一个日志记录器 logger
logger = logging.getLogger()
# 2，设置日志记录器的日志级别，这里的日志级别是日志记录器能记录到的最低级别，区别于后面 Handler 里 setLevel 的日志级别
logger.setLevel(logging.DEBUG)
# 第二步，创建日志处理器 Handler。这里创建一个 Handler，用于将日志写入文件
# 3，创建一个 Handler，用于写入日志文件，日志文件的路径自行定义
logFile = './log.txt'
fh = logging.FileHandler(logFile, mode='a', encoding='utf-8')
# 4，设置保存至文件的日志等级
fh.setLevel(logging.INFO)
# 第三步，定义 Handler 的输出格式
# 5，日志输出格式定义如下
format= logging.Formatter('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')
# 6，设置 写入日志文件的 Handler 的日志格式
fh.setFormatter(format)
# 第四步，将 Handler 添加至日志记录器 logger 里
logger.addHandler(fh)
# 同样的，创建一个 Handler 用于控制台输出日志
ch = logging.StreamHandler()
ch.setLevel(logging.INFO)
ch.setFormatter(format)
logger.addHandler(ch)
# 输出日志
logger.info("This is info message")
logger.warning("This is warning message")
logger.error("This is error message")
logger.critical("This is critical message")

Pycharm 运行 logging_test.py 模块，log.txt 以及 Pycharm 控制台得到如下结果：

2020-10-07 15:54:04,752 test.py[line:3] INFO This is info message
2020-10-07 15:54:04,752 test.py[line:4] WARNING This is warning message
2020-10-07 15:54:04,752 test.py[line:5] ERROR This is error message
2020-10-07 15:54:04,752 test.py[line:6] CRITICAL This is critical message

五，logging 实战

1，测试场景

给登录今日头条 app 的操作添加日志采集。

2，简单配置代码示例

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
import logging
from appium import webdriver
logging.basicConfig(filename='./testLog.log', level=logging.INFO,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')
def android_driver():
desired_caps = {
"platformName": "Android",
"platformVersion": "10",
"deviceName": "PCT_AL10",
"appPackage": "com.ss.android.article.news",
"appActivity": ".activity.MainActivity",
"unicodeKeyboard": True,
"resetKeyboard": True,
"noReset": True,
}
logging.info("启动今日头条 APP...")
driver = webdriver.Remote('http://127.0.0.1:4723/wd/hub', desired_caps)
return driver
def login_opera(driver):
''' 登录今日头条操作 '''
logging.info("开始登陆今日头条 APP...")
try:
driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】
driver.find_element_by_id("android:id/button1").click() # 点击权限管理 - 确定按钮
driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录
driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮
driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。”
driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录
driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236")   # 输入账号
driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172")   # 输入密码
driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录
except Exception as e:
logging.error("登录错误，原因为：{}".format(e))
else:
logging.info("登陆成功...")
driver = android_driver()
login_opera(driver)

登录成功则日志输出如下：

2020-09-30 18:20:05,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-09-30 18:20:10,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-09-30 18:21:07,120 logging_test.py[line:41] INFO 登陆成功...

3，抛出问题

上面示例代码成功地获取了日志信息，但这种写法只能作用于当前模块。而一个自动化测试项目往往有多个模块，如果在每个需要获取日志的模块都使用这样的方式，显然是不方便维护的。那么我们需要怎么解决呢？

4，解决思路

使用日志流处理流程。提供以下两种思路：

思路 1：使用 python 代码实现日志配置。先创建日志记录器，并设置好 Handler 与日志格式，如上面的 logging_test.py 模块构造 logger，其他模块采集日志时直接调用。

思路 2：将日志的格式、输出路径等参数抽离出来放置在专门的配置文件里，如 logging.conf，使用专门的模块处理，使用时直接在模块调用即可。

5，思路 1：使用 python 代码实现日志配置示例

目录结构

test.py 中需要采集日志时，从 logging_test.py 导入 logger 即可。也可以将 logging_test.py 里的代码进行进一步的封装，再调用，这里仅仅只是示例。
logging_test.py

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
import logging
# 创建日志记录器
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)
# 设置日志输出格式
format= logging.Formatter('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')
# 创建一个 Handler 用于将日志写入文件
logFile = './log.txt'
fh = logging.FileHandler(logFile, mode='a', encoding='utf-8')
fh.setLevel(logging.INFO)
fh.setFormatter(format)
logger.addHandler(fh)
# 同样的，创建一个 Handler 用于控制台输出日志
ch = logging.StreamHandler()
ch.setLevel(logging.INFO)
ch.setFormatter(format)
logger.addHandler(ch)

test.py

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
from appium import webdriver
from log.logging_test import logger
def android_driver():
desired_caps = {
"platformName": "Android",
"platformVersion": "10",
"deviceName": "PCT_AL10",
"appPackage": "com.ss.android.article.news",
"appActivity": ".activity.MainActivity",
"unicodeKeyboard": True,
"resetKeyboard": True,
"noReset": True,
}
logger.info("启动今日头条 APP...")
driver = webdriver.Remote('http://127.0.0.1:4723/wd/hub', desired_caps)
return driver
def login_opera(driver):
''' 登录今日头条操作 '''
logger.info("开始登陆今日头条 APP...")
try:
driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】
driver.find_element_by_id("android:id/button1").click() # 点击权限管理 - 确定按钮
driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录
driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮
driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。”
driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录
driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236")   # 输入账号
driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172")   # 输入密码
driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录
except Exception as e:
logger.error("登录错误，原因为：{}".format(e))
else:
logger.info("登陆成功...")
driver = android_driver()
login_opera(driver)

运行 test.py，结果如下：

2020-10-07 18:45:05,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-10-07 18:45:11,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-10-07 18:45:20,120 logging_test.py[line:41] INFO 登陆成功...

6，思路 2：日志格式配置示例

6.1，logger.conf 文件

[loggers]   # loggers日志器对象列表，必须包含
keys=root, exampleLogger    # 一定要包含root这个值，当使用无参函数logging.getLogger()时，默认返回root这个logger，其他自定义logger可以通过logging.getLogger("exampleLogger")方式进行调用
[handlers] # handlers 处理器对象列表，必须包含
keys=consoleHandler, fileHandler    # 定义声明 handlers 信息
[formatters] # formatters 格式对象列表，必须包含
keys=form01,form02
[logger_root] # 对 loggers 中声明的 logger 进行逐个配置，且要一一对应, 在所有的 logger 中，必须制定 lebel 和 handlers 这两个选项。对于非 roothandler，还需要添加一些额外的 option，如 qualname、propagate 等。handlers 可以指定多个，中间用逗号隔开，比如 handlers=fileHandler,consoleHandler，同时制定使用控制台和文件输出日志
level=DEBUG
handlers=consoleHandler, fileHandler
[logger_exampleLogger]  # 配置日志处理器 exampleLogger：设置日志级别、日志输出指定的处理器配置文件，如 consoleHandler,fileHandler
level=DEBUG
handlers=consoleHandler, fileHandler
qualname=exampleLogger  # qualname 表示它在 logger 层级中的名字，在应用代码中通过这个名字制定所使用的 handler
propagate=0 # 可选项，其默认是为 1，表示消息将会传递给高层次 logger 的 handler
[handler_consoleHandler]    # 日志处理器 consoleHandler 的配置文件
class=StreamHandler   # 定控制台输出。将日志消息发送到输出到 Stream，如 std.out, std.err 或任何 file-like 对象
level=DEBUG   # 日志级别
formatter=form01    # 输出格式
args=(sys.stdout,)
[handler_fileHandler]   # 日志处理器 fileHandler 的配置文件
class=FileHandler    # 将日志输出至磁盘文件
level=DEBUG # 日志级别
formatter=form02    # 输出格式
args=('./log.txt', 'a', 'UTF-8') # 参数如未设置绝对路径，则默认生成在执行文件 log.py 的工作目录。指定日志文件的打开模式，默认为’a’
[formatter_form01]  # 格式配置 1
format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s
[formatter_form02]  # 格式配置2
format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s

注意：

为了说明配置结构，这里的配置文件 logger.conf 里加了中文注释，实际使用时需要将注释去掉或改写成英文注释，否则会报编码错误。
配置文件中包含三大主要模块：loggers，handlers，formatters。这三个主要模块包含的内容都是通过 keys 进行指定，然后通过 logger_key、handler_key、formatter_key 对里面的 key 进行具体的设置。
配置 handlers 中的 handler_consoleHandler 的参数：指定日志输出到控制台、级别、输出格式、参数。
配置 handlers 中的 handler_fileHandlers 的参数：指定将日志输出至磁盘文件、设置日志级别、输出格式、参数等。
配置日志输出格式 formatter_xxx，可配置多个，如：form01，form02。

6.2，读取配置文件，创建日志记录器 logger

baseLog.py

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
import logging.config
CON_LOG='./logger.conf' # 配置文件路径
logging.config.fileConfig(CON_LOG)  # '读取日志配置文件'
logger = logging.getLogger('exampleLogger') # 创建一个日志器 logger

6.3，调用示例

目录结构如下

test.py

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
from appium import webdriver
from log.baseLog import logger
def android_driver():
desired_caps = {
"platformName": "Android",
"platformVersion": "10",
"deviceName": "PCT_AL10",
"appPackage": "com.ss.android.article.news",
"appActivity": ".activity.MainActivity",
"unicodeKeyboard": True,
"resetKeyboard": True,
"noReset": True,
}
logger.info("启动今日头条 APP...")
driver = webdriver.Remote('http://127.0.0.1:4723/wd/hub', desired_caps)
return driver
def login_opera(driver):
''' 登录今日头条操作 '''
logger.info("开始登陆今日头条 APP...")
try:
driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】
driver.find_element_by_id("android:id/button1").click() # 点击权限管理 - 确定按钮
driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录
driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮
driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。”
driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录
driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236")   # 输入账号
driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172")   # 输入密码
driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录
except Exception as e:
logger.error("登录错误，原因为：{}".format(e))
else:
logger.info("登陆成功...")
driver = android_driver()
login_opera(driver)

控制台、log.txt 输出结果如下：

2020-10-07 19:30:35,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-10-07 19:30:40,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-10-07 19:31:12,120 logging_test.py[line:41] INFO 登陆成功...

7，总结

在实际使用 python 做自动化测试过程中两种解决思路都可以使用，且都挺方便。其中对于思路 1，还可以将代码进行更进一步的封装。

Python日志采集（详细）

一，日志概述

1，日志作用

2，日志级别

3，日志格式

4，日志位置

二，logging 模块

1，简介

2，文档

三，logging 第一种使用方法：简单配置使用

1，使用方法

2，basicConfig() 部分参数说明

3，示例 1：日志打印至控制台

4，示例 2：日志保存至文件

四，logging 的第二种使用方式：日志流处理流程

1，logging 四大组件介绍

2，Logger 记录器

3，Handler 处理器

3.1，StreamHandler

3.2，FileHandler

4，Filter 过滤器

5，Formatter 格式化器

6，使用示例：将日志输出至控制台，同时保存至文件

五，logging 实战

1，测试场景

2，简单配置代码示例

3，抛出问题

4，解决思路

5，思路 1：使用 python 代码实现日志配置示例

6，思路 2：日志格式配置示例

6.1，logger.conf 文件

6.2，读取配置文件，创建日志记录器 logger

6.3，调用示例

7，总结

相关帖子

随便看看

Python日志采集（详细）