运用到的python知识点：
excel相关：https://www.cnblogs.com/yaner2018/p/11269873.html
字典：
python字典的几种方式：
1）key值遍历
1 d = {'a': '1', 'b': '2', 'c': '3'} 2 3 for k in d: 4 print(k+':'+d[k]) 5 print('------------') 6 7 for k in d.keys(): 8 print(k+':'+d[k])
1 a:1 2 b:2 3 c:3 4 ------------ 5 a:1 6 b:2 7 c:3
for k in d: 与 for k in d.keys(): 完全等价
2）value遍历
1 d = {'a': '1', 'b': '2', 'c': '3'} 2 3 for v in d.values(): 4 print(v) 5 6 运行结果 7 1 8 2 9 3
3）遍历字典项
1 d = {'a': '1', 'b': '2', 'c': '3'} 2 3 for kv in d.items(): 4 print(kv) 5 6 运行结果 7 ('a', '1') 8 ('b', '2') 9 ('c', '3')
4）字典键、值 遍历
1 d = {'a': '1', 'b': '2', 'c': '3'} 2 3 for (k,v) in d.items(): 4 print(k,':',v) 5 print('----------') 6 for k,v in d.items(): 7 print(k,':',v) 8 9 10 运行结果 11 a : 1 12 b : 2 13 c : 3 14 ---------- 15 a : 1 16 b : 2 17 c : 3
for (k,v) in d.items(): 根据运行结果可见，k，v是否加括号是一样的
os模块:
os.getcwd()：查看当前所在路径。
os.listdir(path):列举目录下的所有文件。返回的是列表类型
os.path.abspath(path):返回path的绝对路径。
os.path.split(path):将路径分解为(文件夹,文件名)，返回的是元组类型
os.path.join(path1,path2,...):将path进行组合，若其中有绝对路径，则之前的path将被删除
os.path.dirname(path):返回path中的文件夹部分，结果不包含'\'
os.path.basename(path):返回path中的文件名
os.path.getmtime(path):文件或文件夹的最后修改时间，从新纪元到访问时的秒数
os.path.getatime(path):文件或文件夹的最后访问时间，从新纪元到访问时的秒数
os.path.getctime(path):文件或文件夹的创建时间，从新纪元到访问时的秒数
os.path.getsize(path):文件或文件夹的大小，若是文件夹返回0
os.path.exists(path):文件或文件夹是否存在，返回True 或 False
os.path.isfile(path):该目录是否为一个文件，返回True 或 False
os.path.isdir(path):该目录是否为一个文件夹，返回True 或 False
其他：
strip()：去空格
split()：分隔
slice:切片
-----------------------------------------------------------------------
案列：
log：
从以上大篇幅的log中提取出如下信息：
sn，mode，time 相同的只统计一次，loc统计不重复的位置
content:SN=56636200000686;MODE=0;TIME=2019-9-18 8:58:39;LOC=0-460,0,6338,20935,8,31,0,24-460,0,6338,20935,8,31,0,24-460,0,6338,20935,8,31,0,24;TEST_NUM=248;LOC_ERR=26;CONN_ERR=10;SEND_ERR=2;REC_ERR=0
1 #coding=utf-8 2 ''' 3 Created on 2019年9月17日 4 5 @author: yanerfree 6 ''' 7 import re 8 import xlrd 9 from xlutils.copy import copy 10 import os 11 #import shutil 12 13 class recorder(): 14 def __init__(self,sn,mode,dat): 15 self.sn = sn 16 self.mode = mode 17 self.dat = dat#日期 18 self.loc = [] 19 self.test_num = 0 20 self.loc_err = 0 21 self.conn_err = 0 22 self.send_err = 0 23 self.rec_err = 0 24 25 26 def updateInfo(self,str): 27 print('------更新条目信息------') 28 pattern_2 = re.compile('content:SN=(.*?);MODE=(.*?);TIME=(.*?) .*?LOC=(.*?);TEST_NUM=(.*?);LOC_ERR=(.*?);CONN_ERR=(.*?);SEND_ERR=(.*?);REC_ERR=(\d*)' ,re.S) 29 res = re.findall(pattern_2, str)[0] 30 print('res:',res) 31 #将loc不同的收集起来 32 loclist = res[3].split(',') 33 loc34 = '['+loclist[2]+','+loclist[3]+']' 34 print('loc34:',loc34) 35 if loc34 not in self.loc: 36 #print('loc34:',loc34) 37 self.loc.append(loc34) 38 39 if int(res[4]) > self.test_num:#此处必须将字符类型转换成整数类型进行比较 40 self.test_num = int(res[4]) 41 self.loc_err = int(res[5]) 42 self.conn_err = int(res[6]) 43 self.send_err = int(res[7]) 44 self.rec_err = int(res[8]) 45 46 def setInfo(self,str): 47 print('创建新条目：',str) 48 pattern_2 = re.compile('content:SN=(.*?);MODE=(.*?);TIME=(.*?) .*?LOC=(.*?);TEST_NUM=(.*?);LOC_ERR=(.*?);CONN_ERR=(.*?);SEND_ERR=(.*?);REC_ERR=(\d*)' ,re.S) 49 res = re.findall(pattern_2, str)[0] 50 loclist = res[3].split(',') 51 print('loclist:',loclist) 52 loc34 = '['+loclist[2]+','+loclist[3]+']' 53 print('loc34:',loc34) 54 self.loc= [loc34] 55 self.test_num = int(res[4]) 56 self.loc_err = int(res[5]) 57 self.conn_err = int(res[6]) 58 self.send_err = int(res[7]) 59 self.rec_err = int(res[8]) 60 61 62 63 def washdata(filepath,pattern): 64 f = open(filepath,'r',encoding='utf-8') 65 cls_dic = {}#class对象 66 67 line = f.readline().strip()#去空格、换行 68 while line: 69 #print('line:',line) 70 res=re.findall(pattern,line) 71 #print('res:',res) 72 #print('len(res):',len(res)) 73 74 if len(res) == 1: 75 info_list = re.findall(pattern_1,res[0])[0] 76 print('info_list:',info_list) 77 sn = info_list[0] 78 mode = info_list[1] 79 dat = info_list[2] 80 flag = 0#该对象是否已经创建，1是已创建，直接更新信息即可 81 for key,cls in cls_dic.items(): 82 if cls.dat == dat and cls.sn == sn and cls.mode == mode: 83 cls.updateInfo(res[0]) 84 flag = 1 85 if flag == 0: 86 #新建一个class 87 cls_name = 'record'+str(len(cls_dic)) 88 cls_dic[cls_name] = recorder(sn,mode,dat) 89 cls_dic[cls_name].setInfo(res[0]) 90 91 line = f.readline() 92 93 f.close() 94 return cls_dic 95 96 #对单个文件操作 97 def writetoexcel(cls_dic,savefilename): 98 print('------将数据写到excel中------') 99 #遍历cls_dic 100 workbook1 = xlrd.open_workbook(savefilename) 101 rows = workbook1.sheet_by_index(0).nrows 102 workbook2 = copy(workbook1)#拷贝一份原来的excel 103 #根据名字获取指定sheet页 104 sheet=workbook2.get_sheet('Sheet1') 105 row = rows 106 print('excel中已有数据%d行'%rows) 107 108 for k,c in cls_dic.items(): 109 sheet.write(row, 0, c.dat) 110 sheet.write(row, 1, c.sn) 111 sheet.write(row, 2, c.mode) 112 sheet.write(row, 3, c.loc) 113 sheet.write(row, 4, c.test_num) 114 sheet.write(row, 5, c.loc_err) 115 sheet.write(row, 6, c.conn_err) 116 sheet.write(row, 7, c.send_err) 117 sheet.write(row, 8, c.rec_err) 118 119 row += 1 120 121 workbook2.save(savefilename) 122 123 #对多个文件操作 124 def traverse(filepath,savefilename): 125 list = os.listdir(filepath) 126 for i in range(0,len(list)): 127 #print list[i] 128 tmp_path = os.path.join(filepath,list[i]) 129 #print tmp_path 130 if os.path.isfile(tmp_path): 131 if tmp_path[-4:] == ".txt": 132 print('需要抓取信息的文件为 :',tmp_path) 133 cls_dic = washdata(tmp_path,pattern) 134 writetoexcel(cls_dic,savefilename) 135 else: 136 traverse(tmp_path,savefilename) 137 138 139 savefilename = './result.xls' 140 pattern = re.compile('(content:SN=.*?;REC_ERR=\d*)' ,re.S) 141 pattern_1 = re.compile('content:SN=(.*?);MODE=(.*?);TIME=(.*?) .*?LOC=(.*?);TEST_NUM=(.*?);LOC_ERR=(.*?);CONN_ERR=(.*?);SEND_ERR=(.*?);REC_ERR=(\d*)' ,re.S) 142 143 if __name__ == '__main__': 144 ''' 145 #suite for single file 146 cls_dic = washdata(filepath,pattern) 147 writetoexcel(cls_dic,savefilename) 148 ''' 149 #suite for more than one file 150 filepath = r'F:\02_testcase\log_P6_test' 151 savefilename = './result.xls' 152 traverse(filepath,savefilename) 153 154 print('------End------') 155