注:下面有些内容不全都来源于原著,这些都是通过各方面的资料收集合并的结果。

目录

一、正则表达式介绍

二、分类解析

1、元字符

匹配对象以及group()和groups()方法

搜索与匹配的比较

2、数量词:会出现贪婪模式

3、边界词

4、分组词

5、特殊构造

三、re模块下的函数

1、compile:

2、search:

3、match:

4、split:

5、findall:

6、sub:

7、escape:

四、re模块下函数的方法


一、正则表达式介绍

正则表达式为高级的文本模式匹配、抽取、与/或文本形式的搜索和替换功能提供了基础。

这里主要讲针对于python编程中的正则表达式内容,也就是讲解re模块的应用,因为python是通过标准库中的re模块来支持正则表达式的。

常见正则表达式符号和特殊字符(后面会针对这些做一些练习题)

二、分类解析

1、元字符

# "."通配符
>>> import re
>>> pat = re.compile(".")
>>> pat.match('abc')
<_sre.SRE_Match object; span=(0, 1), match='a'>
>>> pat.match("abc").group()
'a'     #匹配到了首个字符
>>> pat.match("abc").groups()
()
>>> pat.search("abc").group()
'a'
>>> pat.search("abc").groups()
()
>>> pat.match("\n").group()
Traceback (most recent call last):    #换行符匹配出错
  File "<pyshell#8>", line 1, in <module>
    pat.match("\n").group()
AttributeError: 'NoneType' object has no attribute 'group'
>>> 

匹配对象以及group()和groups()方法

当处理正则表达式时。除了正则表达式对象之外,还有另一个对象类型:匹配对象(成功调用match或search返回的对象)。匹配对象有两个重要的方法:group()和groups()。

group()要么返回整个匹配对象,要么根据要求返回特定子组。

groups()则仅返回一个包含唯一或者全部子组的元组。

如果没有子组的要求,group()仍然返回整个匹配对象,groups()返回一个空元组。

不明白的转: group 与 groups的区别

# "\"转义符
>>> import re
>>> pat = re.compile("\.")
>>> pat.search("ac.efg").group()
'.'     #匹配到.
>>> pat.findall("ac.efg")
['.']     #不用group,返回列表
>>> 

关于re模块在创建模式对象(compile)后的常用函数会在后面详细讲解

# "[...]" : 集合,匹配里面的任意一个元素
>>> import re
>>> pat = re.compile("[abc]")
>>> pat.match("axbycz").group()
'a'
>>> pat.search("axbycz").group()
'a'
>>> pat.findall("axbycz")
['a', 'b', 'c']
>>> 
# "\d" : 数字
>>> import re
>>> pat = re.compile("\d")
>>> pat.search("ax1by2cz3").group()
'1'    #搜索到第一个数字:1,返回
>>> pat.match("ax1by2cz3").group()
Traceback (most recent call last):    #匹配不到(首个不是数字)返回None,报错,match匹配字符串头
  File "<pyshell#4>", line 1, in <module>
    pat.match("ax1by2cz3").group()
AttributeError: 'NoneType' object has no attribute 'group'
>>>
>>> pat.findall("ax1by2cz3")     #匹配所有的数字,列表返回
['1', '2', '3']

搜索与匹配的比较

python主要有两种方法完成模式匹配:搜索、匹配

搜索,search()实现在字符串任意部分中搜索匹配的模式

匹配,match()实现判断一个字符串能否从起始处全部或者部分地匹配某个模式

# "\D" : 非数字
>>> import re
>>> pat = re.compile("\D")
>>> pat.match("ax1by2cz3").group()
'a'
>>> pat.search("ax1by2cz3").group()
'a'
>>> pat.findall("ax1by2cz3")
['a', 'x', 'b', 'y', 'c', 'z']
# "\s" :空白字符有4,包括: \t、\r、\n、空格
>>> import re
>>> pat = re.compile("\s")
>>> pat.findall("\rax1 \nby2 \tcz3")
['\r', ' ', '\n', ' ', '\t']
>>> pat.search("\rax1 \nby2 \tcz3").group()
'\r'
>>> pat.match("\rax1 \nby2 \tcz3").group()
'\r'
# "\S" :非空白字符
>>> import re
>>> pat = re.compile("\S")
>>> pat.search("\rax1 \nby2 \tcz3").group()
'a'
>>> pat.findall("\rax1 \nby2 \tcz3")
['a', 'x', '1', 'b', 'y', '2', 'c', 'z', '3']
# "\w" :单词字符,数字和字母:[A-Za-z0-9]
>>> import re
>>> pat = re.compile("\w")
>>> pat.findall("1a2b3c")
['1', 'a', '2', 'b', '3', 'c']
>>> pat.search("1a2b3c").group()
'1'
>>> pat.match("1a2b3c").group()
'1'
# "\W":非单词字符,除数字和字母外
>>> import re
>>> pat = re.compile("\W")
>>> pat.findall("1a2我b3c")
[]
>>> pat.findall("1a2我b3c,4essa.")
[',', '.']
>>> pat.search("1a2我b3c,4essa.").group()
','

2、数量词:会出现贪婪模式

# "*" :0次或则多次
>>> import re
>>> pat = re.compile("[abc]*")
>>> pat.match("abcabcdefabc").group()
'abcabc'    #2次
>>> pat.search("abcabcdefabc").group()
'abcabc'    #2次
>>> pat.findall("abcabcdefabc")
['abcabc', '', '', '', 'abc', '']   #2次和1次,因为有0次,所以匹配了''
# "+" :1次或则多次
>>> import re
>>> pat = re.compile("[abc]+")
>>> pat.match("abcdefabcabc").group()
'abc'
>>> pat.search("abcdefabcabc").group()
'abc'
>>> pat.findall("abcdefabcabc")
['abc', 'abcabc']
# "?" :0次或则1次,match,search 不会出现none,会出现''
>>> import re
>>> pat = re.compile("[abc]?")
>>> pat.match("defabc").group()
''     #0次
>>> pat.match('abcdefabc').group()
'a'
>>> pat.search('defabc').group()
''     #0次
>>> pat.findall('defabc')
['', '', '', 'a', 'b', 'c', '']     #0次和1次
 
# "{m}" :匹配字符串出现m次
>>> import re
>>> pat = re.compile("[op]{2}")     #o或则p出现2次
>>> pat.search("abcooapp").group()
'oo'      #匹配第一次出现的字符串,o比p先出现
>>> pat.findall("abcooapp")
['oo', 'pp']     #匹配出现的所有字符串,列表形式返回
# "{m,n}" :匹配字符串出现m到n次
>>> import re
>>> pat = re.compile("[op]{2,4}")     #o或则p出现2到4次
>>> pat.match("pppabcooapp").group()
'ppp'    #匹配开头
>>> pat.match("ppabcooapp").group()
'pp'     #不连续,非贪婪模式只匹配2次
>>> pat.search("pppabcooapp").group()
'ppp'    #匹配第一次出现
>>> pat.findall("pppabcooapp")
['ppp', 'oo', 'pp']     #匹配所有
# "数量词?" :非贪婪模式:只匹配最少的(尽可能少);默认贪婪模式:匹配最多的(尽可能多)
>>> import re
>>> pat = re.compile("[abc]+")   #贪婪模式
>>> pat.match("abcdefabcabc").group()   #匹配尽可能多的:abc
'abc'
>>> pat.match("bbabcdefabcabc").group()
'bbabc'
>>> pat.search("dbbabcdefabcabc").group()
'bbabc'
>>> pat.findall("abcdefabcabc")
['abc', 'abcabc']
>>>
>>> pat = re.compile("[abc]+?")    #非贪婪模式:+?
>>> pat.match("abcdefabcabc").group()   #匹配尽可能少的:a、b、c
'a'
>>> pat.search('dbbabcdefabcabc').group()
'b'
>>> pat.findall('abcdefabcabc')
['a', 'b', 'c', 'a', 'b', 'c', 'a', 'b', 'c']

3、边界词

# "^" :匹配字符串开头或则行头
>>> import re
>>> pat = re.compile("^[abc]")   #开头是abc
>>> pat.search('defabc').group()
Traceback (most recent call last):   #找不到
  File "<pyshell#2>", line 1, in <module>
    pat.search('defabc').group()
AttributeError: 'NoneType' object has no attribute 'group'
>>> pat.match('defabc').group()
Traceback (most recent call last):   #找不到
  File "<pyshell#3>", line 1, in <module>
    pat.match('defabc').group()
AttributeError: 'NoneType' object has no attribute 'group'
>>> pat.findall('defabc')
[]
>>> pat.search('adefabc').group()
'a'     #开头是a、b、c中的任意一个
>>> pat.match('adefabc').group()
'a'
>>> pat.findall('adefabc')
['a']
>>> import re
>>> pat = re.compile("^[abc]+")   #开头是a、b、c中的任意一个的一次或则多次,贪婪:匹配多个
>>> pat.findall("cbadefab")
['cba']
>>> pat = re.compile(r'^[abc]+?')  #开头是a、b、c中的任意一个的一次或则多次,非贪婪:匹配一个
>>> pat.findall('cbadefab')
['c']

compile中的r表示其后的字符串按原样表示,不使用转义字符,如:
"\n" 表示换行符
r"\n" 表示一个斜杠加上字符n组成的字符串

# "$" :匹配字符串结尾或则行尾
>>> import re
>>> pat = re.compile("[abc]$")
>>> pat.match("adefAbc").group()
Traceback (most recent call last):   #match匹配的是字符串开头,所以查找$的时总是返回None
  File "<pyshell#2>", line 1, in <module>
    pat.match("adefAbc").group()
AttributeError: 'NoneType' object has no attribute 'group'
>>> pat.search('adefAbc').group()
'c'
>>> pat.findall('adefAbc')
['c']
>>>
>>> pat = re.compile('[abc]+$')
>>> pat.search('adefAbc').group() #结尾是a、b、c中的任意一个的一次或则多次,贪婪:匹配多个
'bc'
>>> pat.findall('adefAbc')
['bc']
>>> 
# "\A":匹配字符串开头
>>> import re
>>> pat = re.compile("\A[abc]+")
>>> pat.findall('cbadefab')
['cba']
>>> pat.search('cbadefab').group()
'cba'
>>> 
# "\Z":匹配字符串结尾
>>> import re
>>> pat = re.compile('[abc]+\Z')
>>> pat.search('cbadefab').group()
'ab'
>>> pat.findall('cbadefab')
['ab']
>>> 

4、分组词

# "(...)" :在模式里面用()来表示分组(匿名分组),适用于提取目标字符串中的某一些部位。
>>> import re
>>> pat = re.compile(r"(a)\w(c)")  #\w:单词字符[A-Za-z0-9]
>>> pat.match("abdddcccef").group()
Traceback (most recent call last):  #一个\w只能匹配一次
  File "<pyshell#2>", line 1, in <module>
    pat.match("abdddcccef").group()
AttributeError: 'NoneType' object has no attribute 'group'
>>> pat.match("adcccef").group()
'adc'
>>> pat = re.compile("(a)b(c)")  #分2组,匿名分组
>>> pat.match("abcdef").group()
'abc'   #默认返回匹配的字符串
>>> pat.match("adcdef").group()
Traceback (most recent call last):  #不匹配
  File "<pyshell#6>", line 1, in <module>
    pat.match("adcdef").group()
AttributeError: 'NoneType' object has no attribute 'group'
>>> pat.match('abcdef').group(1)   #取分组1,适用于search
'a'
>>> pat.match('abcdef').group(2)   #取分组2,适用于search
'c'
>>> pat.match('abcdef').groups()   #取所有分组,元组形式返回
('a', 'c')
>>> pat=re.compile(r'www\.(.*)\..{3}')
>>> pat.match('www.dxy.com').group(1)
'dxy'
>>> pat.match('www.dxy.com').groups()
('dxy',)
# "(?P<name>...)" 在模式里面用()来表示分组(命名分组),适用于提取目标字符串中的某一些部位。
>>> import re
>>> pat = re.compile(r"(?P<K>a)\w(c)")  #分2组:命名分组+匿名分组
>>> pat.search('abcdef').groups()   #取所有分组,元组形式返回
('a', 'c')
>>> pat.search('abcdef').group(1)   #取分组1,适用于search
'a'
>>> pat.search('abcdef').group(2)   #取分组2,适用于search
'c'
>>> pat.search('abcdef').group()    #默认返回匹配的字符串
'abc'
>>> pat.search('abcdef').groupdict()    #命名分组可以返回一个字典【专有】,匿名分组则没有
{'K': 'a'}
>>> pat.search('abcdef').groupdict(2)
{'K': 'a'}
>>> pat.search('abcdef').groupdict(1)
{'K': 'a'}
# "(?P=name)" :引用命名分组(别名)匹配:
>>> import re
>>> pat=re.compile(r'(?P<K>a)\w(c)(?P=K)')    #(?P=K)引用分组1的值,就是a
>>> pat.search('abcdef').group()
Traceback (most recent call last):     #匹配不到,因为完整'a\wca',模式的第4位是a
  File "<pyshell#3>", line 1, in <module>
    pat.search('abcdef').group()
AttributeError: 'NoneType' object has no attribute 'group'
>>> pat.search('abcadef').group()  #匹配到,模式的第4位和组1一样,值是a
'abca'
>>> pat.search('abcadef').groups()
('a', 'c')
>>> pat.search('abcadef').group(1)
'a'
>>> pat.search('abcadef').group(2)
'c'
# "\<number>" :引用分组编号匹配
>>> import re
>>> pat=re.compile(r'(?P<K>a)\w(c)(?P=K)\2')    #\2引用分组2的值,就是c
>>> pat.findall('Aabcadef')     #匹配不到,因为完整'a\wcac',模式的第5位是c
[]
>>> pat.findall('Aabcacdef')    #匹配到,模式的第5位和组2一样,值是c
[('a', 'c')]
>>> pat.search('Aabcacdef').groups()
('a', 'c')
>>> pat.search('Aabcacdef').group()
'abcac'
>>> pat.search('Aabcacdef').group(1)
'a'
>>> pat.search('Aabcacdef').group(2)
'c'

5、特殊构造

 

 

 

 

 

 

 

 

 

 

# "(?:...)" :()里面有?:表示该()不是分组
>>> import re
>>> pat = re.compile(r"a(?:bc)")
>>> pat.findall('abc')
['abc']
>>> pat.match('abc').groups()    #显示不出分组
()
# "(?=...)":匹配...表达式,返回。对后进行匹配,总是对后面进行匹配
>>> import re
>>> pat=re.compile(r'\w(?=\d)')  #匹配表达式\d,返回数字的前一位,\w:单词字符[A-Za-z0-9]
>>> pat.findall('abc1 def1 xyz1')
['c', 'f', 'z']
>>> pat.findall('zhoujy20130628hangzhou')   #匹配数字的前一位,列表返回
['y', '2', '0', '1', '3', '0', '6', '2']
>>>
>>> pat=re.compile(r'\w+(?=\d)')
>>> pat.findall('abc1,def1,xyz1')    #匹配最末数字的前字符串,列表返回
['abc', 'def', 'xyz']
>>> pat.findall('abc21,def31,xyz41')
['abc2', 'def3', 'xyz4']
>>> pat.findall('zhoujy20130628hangzhou')
['zhoujy2013062']
>>> import re
>>> pat=re.compile(r'[A-Za-z]+(?=\d)')   #[A-Za-z],匹配字母,可以用其他的正则方法
>>> pat.findall('zhoujy20130628hangzhou123')   #匹配后面带有数字的字符串,列表返回
['zhoujy', 'hangzhou']
>>> pat.findall('abc21,def31,xyz41')
['abc', 'def', 'xyz']
>>> 
# "(?!...)" 不匹配...表达式,返回。对后进行匹配
>>> import re
>>> pat=re.compile(r'[A-Za-z]+(?!\d)')    #[A-Za-z],匹配字母,可以用其他的正则方法
>>> pat.findall('zhoujy20130628hangzhou123,12,binjiang310')
['zhouj', 'hangzho', 'binjian']    #匹配后面不是数字的字符串,列表返回
>>> pat.findall('abc21,def31,xyz41')
['ab', 'de', 'xy']
>>> 
# "(?<=...)":匹配...表达式,返回。对前进行匹配,总是对前面进行匹配
>>> import re
>>> pat=re.compile(r'(?<=\d)[A-Za-z]+')   #匹配前面是数字的字母
>>> pat.findall('abc21,def31,xyz41')
[]
>>> pat.findall('1abc21,2def31,3xyz41')
['abc', 'def', 'xyz']
>>> pat.findall('zhoujy20130628hangzhou123,12,binjiang310')
['hangzhou']
>>> 
# "(?<!...)":不匹配...表达式,返回。对前进行匹配,总是对前面进行匹配
>>> import re
>>> pat=re.compile(r'(?<!\d)[A-Za-z]+')   #匹配前面不是数字的字母
>>> pat.findall('abc21,def31,xyz41')
['abc', 'def', 'xyz']
>>> pat.findall('zhoujy20130628hangzhou123,12,binjiang310')
['zhoujy', 'angzhou', 'binjiang']
>>> 
#"(?(id\name) yes |no)": 组是否匹配,匹配返回
>>> import re
#no省略了,完整的是a\dbc\d ==> a2bc3,总共5位,第2位是可有可无的数字,第5位是数字
>>> pat=re.compile(r'a(\d)?bc(?(1)\d)')
>>> pat.findall('abc9')
['']    #返回组1,但第2位(组1)没有,即返回了''
>>> pat.findall('a8bc9')   #完整的模式,返回组1
['8']
>>> pat.match('a8bc9').group()
'a8bc9'
>>> pat.match('a8bc9').group(1)
'8'
>>> pat.findall('a8bc')
[]
>>> 
#"(?iLmsux)":这里就介绍下i参数:大小写区分匹配
>>> import re
>>> pat=re.compile(r'abc')
>>> pat.findall('abc')
['abc']
>>> pat.findall('ABC')
[]
>>> pat=re.compile(r'(?i)abc')  #(?i) 不区分大小写
>>> pat.findall('ABC')
['ABC']
>>> pat.findall('abc')
['abc']
>>> pat.findall('aBc')
['aBc']
>>> pat.findall('aBC')
['aBC']
>>>
>>> pat=re.compile(r'abc',re.I)   #re.I 作为参数使用,同上作用,推荐
>>> pat.findall('aBC')
['aBC']
>>> pat.findall('abc')
['abc']
>>> pat.findall('ABC')
['ABC']

三、re模块下的函数

1、compile:

>>> import re
>>> pat = re.compile("A")
>>> m = pat.search("CBA")
>>> print(m)
#匹配到了,返回MatchObject(匹配对象)(True)
<_sre.SRE_Match object; span=(2, 3), match='A'>
>>> m = pat.search("CBD")
>>> print(m)    #没有匹配到,返回None(False)
None
>>>
#上面的等价于,但推荐都用第一种方法,因为将正则表达式转换为模式对象,实现更有效率的匹配,其他的函数会在内部进行转换。
>>> re.search("A","CBA")
<_sre.SRE_Match object; span=(2, 3), match='A'>
>>> 

2、search:

>>> import re
>>> m = re.search('asd','ASDasd')
>>> print(m)
<_sre.SRE_Match object; span=(3, 6), match='asd'>   #匹配到了,返回MatchObject(True)
>>> m = re.search('asd','ASDASD')
>>> print(m)   #没有匹配到,返回None(False)
None
>>> 

3、match:

>>> import re
>>> m = re.match('a','Aasd')
>>> print(m)
None
>>> m = re.match('a','aASD')
>>> print(m)
<_sre.SRE_Match object; span=(0, 1), match='a'>

4、split:

>>> import re
>>> re.split(",","a,s,d,asd")
['a', 's', 'd', 'asd']    #返回列表
#等价于上
>>> pat = re.compile(',')
>>> pat.split('a,s,d,asd')
['a', 's', 'd', 'asd']
>>>
>>> re.split("[, ]+","a ,  s  ,d     ,,,,,asd")  #正则匹配:[, ]+
['a', 's', 'd', 'asd']
>>> re.split("[, ]+","a ,  s  ,d     ,,,,,asd",maxsplit=2)   # maxsplit 最多分割次数
['a', 's', 'd     ,,,,,asd']
>>>

#说明:根据模式的匹配项来分割字符串,类似字符串的split 的方法,但是字符串的split只能用固定长度的分割符,而re.split允许用任意长度和个数的分割符。

5、findall:

>>> import re
>>> re.findall("a","ASDaDFGAa")
['a', 'a']    #列表形式返回匹配到的字符串
>>> pat = re.compile('a')
>>> pat.findall('ASDaDFGAa')
['a', 'a']
>>> pat = re.compile('[A-Z]+')
>>> pat.findall('ASDcDFGAa')
['ASD', 'DFGA']

#说明:列表形式返回给定模式的匹配项。返回所有匹配的字符串。

6、sub:

#通过组进行更新替换:
>>> import re
>>> re.sub("a","A","abcasd")
'AbcAsd'
>>> pat = re.compile("a")
>>> pat.sub("A","abcasd")
'AbcAsd'
>>>
>>> pat=re.compile(r'www\.(.*)\..{3}')
>>> pat.match('www.dxy.com').group(1)
'dxy'
#通过正则匹配找到符合规则的”www.dxy.com“ ,取得组1字符串 去替换 整个匹配得到字符串。dxy -> www.dxy.com
>>> pat.sub(r'\1','hello,www.dxy.com')
'hello,dxy'
>>> pat=re.compile(r'(\w+) (\w+)')
>>> s='hello world ! hello hz !'
>>> pat.findall('hello world ! hello hz !')
[('hello', 'world'), ('hello', 'hz')]
#通过正则得到组1(hello),组2(world),再通过sub去替换。即组1替换组2,组2替换组1,调换位置。
>>> pat.sub(r'\2 \1',s)
'world hello ! hz hello !'

#说明:使用给定的内容替换掉找到的字符串。a->A

7、escape:

#转义
>>> import re
>>> re.escape("www.dxy.cn")
'www\\.dxy\\.cn'

#说明:对字符串里面的特殊字符串进行转义。

四、re模块下函数的方法

>>> import re
>>> pat = re.compile('a')
>>> dir(pat)
['__class__', '__copy__', '__deepcopy__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__le__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'findall', 'finditer', 'flags', 'fullmatch', 'groupindex', 'groups', 'match', 'pattern', 'scanner', 'search', 'split', 'sub', 'subn']
>>> 

 

>>> import re
>>> pat = re.compile(r'www\.(.*)\.(.*)')    #用()表示一个组,2个组
>>> m = pat.match('www.dxy.com')
>>> m.group()   #默认为0,表示匹配整个字符串
'www.dxy.com'
>>> m.group(1)  #返回给定组1匹配的子字符串
'dxy'
>>> m.group(2)
'com'
>>> m.start(2)  #组2开始的索引
8
>>> m.end(2)    #组2结束的索引
11
>>> m.span(2)   #组2开始、结束的索引
(8, 11)
>>> 

 

10-05 11:19