Python之re模块
一、正则表达式
re 模块是 python 独有的匹配字符串的模块，该模块中提供的很多功能是基于正则表达式实现的，而正则表达式是对字符串进行模糊匹配，提取自己需要的字符串部分，他对所有的语言都通用。注意：
- re 模块是 python 独有的
- 正则表达式所有编程语言都可以使用
- re 模块、正则表达式是对字符串进行操作
因为，re 模块中的方法大都借助于正则表达式，故先学习正则表达式。
（一）常用正则
1、字符组
在同一个位置可能出现的各种字符组成了一个字符组，在正则表达式中用 [] 表示
正则 |
待匹配字符 |
匹配 |
说明 |
[0123456789] |
8 |
True |
在一个字符组里枚举合法的所有字符，字符组里的任意一个字符 |
[0123456789] |
a |
False |
由于字符组中没有 "a" 字符，所以不能匹配 |
[0-9] |
7 |
True |
也可以用 - 表示范围,[0-9]就和 [0123456789] 是一个意思 |
[a-z] |
s |
True |
同样的如果要匹配所有的小写字母，直接用 [a-z] 就可以表示 |
[A-Z] |
B |
True |
[A-Z] 就表示所有的大写字母 |
[0-9a-fA-F] |
e |
True |
可以匹配数字，大小写形式的 a～f，用来验证十六进制字符 |
2、字符
元字符 |
匹配内容 |
| . | 匹配除换行符以外的任意字符 |
| \w | 匹配字母或数字或下划线 |
| \s | 匹配任意的空白符 |
| \d | 匹配数字 |
| \n | 匹配一个换行符 |
| \t | 匹配一个制表符 |
| \b | 匹配一个单词的结尾 |
| ^ | 匹配字符串的开始 |
| $ | 匹配字符串的结尾 |
| \W |
匹配非字母或数字或下划线 |
| \D |
匹配非数字
|
| \S |
匹配非空白符
|
| a|b |
匹配字符 a 或字符 b |
| () |
匹配括号内的表达式，也表示一个组 |
| [...] |
匹配字符组中的字符 |
| [^...] |
匹配除了字符组中字符的所有字符 |
3、量词
量词 |
用法说明 |
| * | 重复零次或更多次 |
| + | 重复一次或更多次 |
| ? | 重复零次或一次 |
| {n} | 重复 n 次 |
| {n,} | 重复 n 次或更多次 |
| {n,m} | 重复 n 到 m 次 |
（二）正则表达式的使用
1、. ^ $
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| a. | abacad | abacad | 匹配所有 "a." 的字符 |
| ^a. | abacad | ab | 只从开头匹配 "a." |
| a.$ | abacad | ad | 只匹配结尾的 "a.$" |
2、* + ? { }
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| a.? | abefacgad | ab ac ad |
? 表示重复零次或一次，即只匹配 "a" 后面一个任意字符。 |
| a.* | abefacgad | abefacgad | * 表示重复零次或多次，即匹配 "a" 后面 0 或多个任意字符。 |
| a.+ | abefacgad | abefacgad | + 表示重复一次或多次，即只匹配 "a" 后面 1 个或多个任意字符。 |
| a.{1,2} | abefacgad | abe acg ad |
{1,2} 匹配 1 到 2 次任意字符。 |
注意：前面的 *,+,? 等都是贪婪匹配，也就是尽可能匹配，后面加? 号使其变成惰性匹配
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| a.*? | abefacgad |
a |
惰性匹配 |
3、字符集［］［^］
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| a[befcgd]* | abefacgad |
abef |
表示匹配 "a" 后面 [befcgd] 的字符任意次 |
| a[^f]* | abefacgad |
abe |
表示匹配一个不是 "f" 的字符任意次 |
| [\d] | 412a3bc |
4 |
表示匹配任意一个数字，匹配到 4 个结果 |
| [\d]+ | 412a3bc |
412 |
表示匹配任意个数字，匹配到 2 个结果 |
4、分组 () 与 或 ｜［^］
身份证号码是一个长度为 15 或 18 个字符的字符串，如果是 15 位则全部由数字组成，首位不能为 0；如果是 18 位，则前 17 位全部是数字，末位可能是数字或 x，下面我们尝试用正则来表示：
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| ^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 |
110101198001017032 |
表示可以匹配一个正确的身份证号 |
| ^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 |
1101011980010170 |
表示也可以匹配这串数字，但这并不是一个正确的身份证号码，它是一个 16 位的数字 |
| ^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 |
False |
现在不会匹配错误的身份证号了 |
| ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 |
110105199812067023 |
表示先匹配 [1-9]\d{16}[0-9x] 如果没有匹配上就匹配[1-9]\d{14}
|
5、转义符 \
在正则表达式中，有很多有特殊意义的是元字符，比如 \n 和 \s 等，如果要在正则中匹配正常的 "\n" 而不是 "换行符" 就需要对 "\" 进行转义，变成 '\\'。
在 python 中，无论是正则表达式，还是待匹配的内容，都是以字符串的形式出现的，在字符串中 \ 也有特殊的含义，本身还需要转义。所以如果匹配一次 "\n", 字符串中要写成 '\\n'，那么正则里就要写成 "\\\\n", 这样就太麻烦了。这个时候我们就用到了 r'\n' 这个概念，此时的正则是 r'\\n' 就可以了。
| 正则 | 待匹配字符 | 匹配 结果 |
说明 |
| \n | \n | False |
因为在正则表达式中 \ 是有特殊意义的字符，所以要匹配 \n 本身，用表达式 \n 无法匹配 |
| \\n | \n | True |
转义 \ 之后变成 \\，即可匹配 |
| "\\\\n" | '\\n' | True |
如果在 python 中，字符串中的 '\' 也需要转义，所以每一个字符串 '\' 又需要转义一次 |
| r'\\n' | r'\n' | True |
在字符串之前加 r，让整个字符串不转义 |
6、贪婪匹配
贪婪匹配：在满足匹配时，匹配尽可能长的字符串，默认情况下，采用贪婪匹配
| 正则 | 待匹配字符 | 匹配结果 | 说明 |
| <.*> |
<script>... <script> |
<script>... <script> |
默认为贪婪匹配模式，会匹配尽量长的字符串 |
| <.*?> |
<script>... <script> |
<script> |
加上？为将贪婪匹配模式转为非贪婪匹配模式，会匹配尽量短的字符串 |
几个常用的非贪婪匹配 Pattern
*? 重复任意次，但尽可能少重复 +? 重复 1 次或更多次，但尽可能少重复 ?? 重复 0 次或 1 次，但尽可能少重复 {n,m}? 重复 n 到 m 次，但尽可能少重复 {n,}? 重复 n 次以上，但尽可能少重复
.*? 的用法
. 是任意字符 * 是取 0 至 无限长度 ? 是非贪婪模式。 何在一起就是 取尽量少的任意字符，一般不会这么单独写，他大多用在： .*?x就是取前面任意长度的字符，直到一个 x 出现
二、re 模块
（一）常量、属性
1、re.A（re.ASCII）
让 \w，\W，\b，\B，\d，\D，\s 和 \S 执行 ASCII- 只匹配完整的 Unicode 匹配代替。这仅对 Unicode 模式有意义，而对于字节模式则忽略。
2、re.I（re.IGNORECASE）
执行不区分大小写的匹配；类似的表达式也 [A-Z] 将匹配小写字母。
3、re.L（re.LOCALE）
让 \w，\W，\b，\B 和区分大小写的匹配取决于当前的语言环境。该标志只能与字节模式一起使用。不建议使用此标志，因为语言环境机制非常不可靠，它一次只能处理一种“区域性”，并且仅适用于 8 位语言环境。默认情况下，Python 3 中已为 Unicode（str）模式启用了 Unicode 匹配，并且能够处理不同的语言环境 / 语言。
4、re.M（re.MULTILINE）
指定时，模式字符 '^' 在字符串的开头和每行的开头（紧随每个换行符之后）匹配；模式字符 '$' 在字符串的末尾和每行的末尾（紧接在每个换行符之前）匹配。默认情况下，'^' 仅在字符串的开头，字符串 '$' 的末尾和字符串末尾的换行符（如果有）之前立即匹配。
5、re.S（re.DOTALL）
使 '.' 特殊字符与任何字符都匹配，包括换行符；没有此标志，'.' 将匹配除换行符以外的任何内容。
（二）常用方法
1、re.compile（pattern，flags = 0 ）
将正则表达式模式编译为正则表达式对象，可使用 match()，search() 以及下面所述的其他方法将其用于匹配
>>> prog = re.compile('\d{2}') # 正则对象>>> prog.search('12abc')
<_sre.SRE_Match object; span=(0, 2), match='12'>
>>> prog.search('12abc').group() # 通过调用 group() 方法得到匹配的字符串, 如果字符串没有匹配，则返回 None。
'12'>>> prog.match('123abc')
<_sre.SRE_Match object; span=(0, 2), match='12'>
>>> prog.match('123abc').group()
'12'
>>>
2、re.search（pattern，string，flags = 0 ）
扫描字符串以查找正则表达式模式产生匹配项的第一个位置 ，然后返回相应的match 对象。None如果字符串中没有位置与模式匹配，则返回；否则返回 false。请注意，这与在字符串中的某个点找到零长度匹配不同。
#在这个字符串进行匹配，只会匹配一个对象
>>> re.search('\w+','abcde').group() 'abcde' >>> re.search('a','abcde').group() 'a' >>>
3、re.match（pattern，string，flags = 0 ）
如果字符串开头的零个或多个字符与正则表达式模式匹配，则返回相应的匹配对象。None 如果字符串与模式不匹配，则返回；否则返回 false。请注意，这与零长度匹配不同。
# 同 search, 不过在字符串开始处进行匹配，只会匹配一个对象 >>> re.match('a','abcade').group() 'a' >>> re.match('\w+','abc123de').group() 'abc123de' >>> re.match('\D+','abc123de').group() #非数字 'abc' >>>
4、re.fullmatch（pattern，string，flags = 0 ）
如果整个字符串与正则表达式模式匹配，则返回相应的 match 对象。None 如果字符串与模式不匹配，则返回；否则返回 false。请注意，这与零长度匹配不同。
>>> re.fullmatch('\w+','abcade').group() 'abcade' >>> re.fullmatch('abcade','abcade').group() 'abcade' >>>
5、re.split（pattern，string，maxsplit = 0，flags = 0 ）
通过出现模式来拆分字符串。如果在 pattern 中使用了捕获括号，那么模式中所有组的文本也将作为结果列表的一部分返回。如果 maxsplit 不为零，则最多会发生 maxsplit 分割，并将字符串的其余部分作为列表的最后一个元素返回。
>>> re.split('[ab]', 'abcd') # 先按 'a' 分割得到 '' 和'bcd', 在对''和'bcd'分别按'b' 分割 ['', '', 'cd'] >>> re.split(r'\W+', 'Words, words, words.') ['Words', 'words', 'words', ''] >>> re.split(r'(\W+)', 'Words, words, words.') ['Words', ', ', 'words', ', ', 'words', '.', ''] >>> re.split(r'\W+', 'Words, words, words.', 1) ['Words', 'words, words.'] >>> re.split('[a-f]+', '0a3B9', flags=re.IGNORECASE) ['0', '3', '9']
如果分隔符中有捕获组，并且该匹配组在字符串的开头匹配，则结果将从空字符串开始。字符串的末尾也是如此：
>>> re.split(r'(\W+)', '...words, words...') ['', '...', 'words', ', ', 'words', '...', '']
6、re.findall（pattern，string，flags = 0 ）
以 string 列表形式返回 string 中 pattern 的所有非重叠匹配项。从左到右扫描该字符串，并以找到的顺序返回匹配项。如果该模式中存在一个或多个组，则返回一个组列表；否则，返回一个列表。如果模式包含多个组，则这将是一个元组列表。空匹配项包含在结果中。
>>> re.findall('a', 'This is a beautiful place!') ['a', 'a', 'a'] >>>
7、re.finditer（pattern，string，flags = 0 ）
返回一个迭代器，该迭代器在 string 类型的 RE 模式的所有非重叠匹配中产生匹配对象。 从左到右扫描该字符串，并以找到的顺序返回匹配项。空匹配项包含在结果中。
>>> re.finditer('[ab]', 'This is a beautiful place!') <callable_iterator object at 0x0000000000DCDA90> #迭代器对象 >>> ret=re.finditer('[ab]', 'This is a beautiful place!') >>> next(ret).group() #查看下一个匹配值 'a' >>> [i.group() for i in ret] #查看剩下所有匹配的值 ['b', 'a', 'a'] >>>
8、re.sub（pattern，repl，string，count = 0，flags = 0 ）
返回通过用替换 repl 替换字符串中最左边的不重叠模式所获得的字符串。如果找不到该模式， 则返回的字符串不变。 repl 可以是字符串或函数；如果是字符串，则处理其中的任何反斜杠转义。即，将其转换为单个换行符，将其转换为回车，依此类推。count 参数表示将匹配到的内容进行替换的次数
>>> re.sub('\d', 'S', 'abc12jh45li78', 2) #将匹配到的数字替换成 S, 替换 2 个 'abcSSjh45li78'>>> re.sub('\d', 'S', 'abc12jh45li78') #将匹配到所有的数字替换成 S
'abcSSjhSSliSS'
>>>
9、re.subn（pattern，repl，string，count = 0，flags = 0 ）
执行与相同的操作 sub()，但返回一个元组。(new_string, number_of_subs_made)
>>> re.subn('\d', 'S', 'abc12jh45li78', 3) ('abcSSjhS5li78', 3) >>>
10、re.escape(pattern)
escape 中的所有字符图案，除了 ASCII 字母，数字和'_'。如果要匹配可能包含正则表达式元字符的任意文字字符串，这将很有用。
>>> re.escape('python.exe\n') 'python\\.exe\\\n' >>>
11、search（）与 match（）方法
Python 提供了两种基于正则表达式的原始操作： re.match()仅在字符串的开头匹配，re.search() 检查匹配项，在字符串中的任何位置检查匹配项（这是 Perl 的默认设置）。
>>> re.match("c", "abcdef") #Not match >>> re.search("c", "abcdef") #match <_sre.SRE_Match object; span=(2, 3), match='c'> >>>
以开头的正则表达式 '^' 可用于 search() 限制字符串开头的匹配项：
>>> re.match("c", "abcdef") #Not match >>> re.search("^c", "abcdef") #Not match >>> re.search("^a", "abcdef") #match <_sre.SRE_Match object; span=(0, 1), match='a'> >>>
参考：
https://docs.python.org/3.6/library/re.html
https://www.cnblogs.com/Eva-J/articles/7228075.html#_label7