linux四剑客-grep/find/sed/awk/详解-技术流ken

1.四剑客简介

相信接触过linux的大家应该都学过或者听过四剑客，即sed,grep,find,awk,有人对其望而生畏，有人对其爱不释手。参数太多，变化形式太多，使用超级灵活，让一部分人难以适从继而望而生畏，浅尝辄止即罢。有人熟练掌握，使其四剑客为己所用，在分析日志，分析文本，统计，批量修改中游刃有余，大大提高了工作效率。本篇博文将详细讲解四剑客的参数选项，以及使用案例，相信认真读完本篇博文你也可以使得四剑客真正为己所用。

2.四剑客之grep

1.几个概念

正则表达式：Regular Expression

作用：用一些特殊的字符来描述一个模式

字符：

普通字符：0-9 a-z A-Z

特殊字符(元字符)：* . {} |

正则和通配符

正则是用于对文件中的内容进行过滤和匹配

通配符用于对文件名进行匹配

2.grep命令选项

作用：用于对文件中的内容进行过滤

原理：逐行对文件中的内容根据样式进行匹配，如果匹配成功就过滤出该行

格式：grep [options] PATTERN file

PATTERN：要匹配的模式

options：

-i：忽略文件中的内容的大小写

-o：仅仅显示所匹配到的内容（不显示整行）

-v：取反，用于获取不包含指定内容的行

--color：将匹配到的内容进行着色

-A num：在匹配到指定的行以后，额外显示下面的num行

-B num：在匹配到指定的行以后，额外显示上面的num行

-C num：在匹配到指定的行以后，额外显示上下各num行 

 3.正则表达式的特殊符号

. 表示任意一个字符
[] 表示范围内的一个字符
[^] 表示匹配范围以外的任意一个字符
* 表示其前面的字符出现任意次数(0,1,n)的情况（注意是匹配*前面的字符，比如*前面是5. 5*就表示匹配一个5或者0个或者n个5）
.* 表示任意长度的任意字符
? 表示其前面的字符出现最多一次的情况
\{m,n\} 表示其前面的字符出现最少m次，最多n次的情况
^ 匹配行首
$ 匹配行尾
\< 锚定单词首部
    \> 锚定单词尾部
\(分组\)
    \1  调用前面的第一个分组
    \2  调用前面的第二个分组

4.扩展正则表达式

grep -E

egrep

扩展正则表达式多了一个+号和一个或者|的符号而已

5.三剑客之grep案例

例子：显示出a.txt中不包含字母 c 的行

[root@ken ~]# grep -v "c" a.txt

例子：统计a.txt中包含字母q的行的数量

[root@ken ~]# grep "q" a.txt | wc -l

例子：过滤出包含大写字母的行

[root@ken ~]# grep "[A-Z]" a.txt

例子：匹配非数字字符

[root@ken ~]# grep "[^0-9]" a.txt

例子：查看包含字母a的行，要求显示该行上下各5行

[root@ken ~]# grep --color -C 5 "a" a.txt

例子：过滤出一行中a在前，b在后的行

[root@ken ~]#  grep --color "a.*b" b.txt

 例子：匹配a和b之间有最少2个c最多5个c的行

[root@ken ~]# grep "ac\{2,5\}b" a.txt

例子：过滤出以# 为开头，且第二个字符是空格的行

[root@ken ~]#  grep "^#[[:space:]]" a.txt

例子：过滤出行首和行位字母相同的行

[root@ken ~]# grep "^\([a-z]\).*\1$" a.txt

例子：过滤出第一个字符是#，且第二个字符串是非空字符，而且结尾是数字的行

[root@ken ~]# grep --color "^#[^[:space:]].*[0-9]$" a.txt

3.四剑客之find

1.简单介绍

特点：

查找速度相对慢

准确率高，而且可以根据文件的多种特性进行查找

原理：

find会在指定目录及其子目录中进行逐级查找

格式：

find [options] [路径] [查找条件] [执行的动作]

说明

路径：就是在哪个目录下进行查找

可以是绝对路径，也可以是相对路径

 2.find的查找条件

-name  可以使用通配符
-iname忽略大小写
-groupname
-username
-gid
-uid
-nogroup 无属组
-nouser 无用户
-size  文件大小
-type 文件类型
-mtime  创建时间
-ctime   修改时间
-atime   访问时间
-perm  后面跟的权限
-exec  find  xxx  -exec  命令 \;

组合条件（-a,-o,-not)

3.三剑客之find案列

例子：从当前位置下找出后缀是txt的文件和目录

[root@ken ~]# find ./ -name "*.txt"

例子：找文件的属主是 py22 的文件和目录

[root@ken ~]# find / -user "py22"

例子：找文件大小是1M的文件

[root@ken ~]# find / -size 1M

说明：

             查找找结果是<=1M的文件

    -size [+-]n

         +：大于指定的值

         -：小于指定的值

例子：找文件大小大于1G的文件

[root@ken ~]# find / -size +1G

例子：找一般文件

[root@ken ~]# find / -type f

 例子：从/tmp下找出后缀是wps 或doc 或exel的文件

[root@ken ~]# ind /tmp/ -name *.doc -o -name *.exel -o -name *.wps

例子：找出系统中全部用户都有执行的权限的文件

[root@ken ~]# find / -perm -111

-perm权限前面没有任何符号表示精确查找,比如查找666，查找出来的文件权限必须是666权限

-perm权限前面有/表示模糊查找，9个权限包含一个即可

-perm权限面前有-表示必须包含所指定的权限

例子：将tmp下有执行权限的文件中的执行权限去除

[root@ken ~]#  find /tmp -perm /111 -exec chmod a-x {} \;

4.四剑客之awk

在说awk之前首先介绍几个小命令

1.几个小命令

cut命令

cut命令
    作用：根据指定的分隔符来切割数据，然后显示指定的部分
    选项
        -d'字符'：指定分隔符
        -f#：指定显示分割后的那一部分数据
            输出的情况
            1）输出一段：指定一个编号   2
            2）输出连续多段：编号-编号  2-5
            3）输出不连续多段：编号,编号...  2,3,5

    # echo "bin:10:15:i am bin:/home/bin:/sbin/nologin"

    例子：输出上面的15
    # echo "bin:10:15:i am bin:/home/bin:/sbin/nologin" | cut -d':' -f3

    例子：输出系统中全部用户的用户名和shell类型
    # cat /etc/passwd | cut -d":" -f1,7

sort命令

sort命令
    作用：按字符进行比较和排序
    格式：sort 选项 file
    选项：
        -t：指定分隔符
        -k：根据切割后的那一段进行排序[根据切割后的那一段排序，不是取出来那一段]
        -n：表示根据数字进行排序（默认是根据字符进行排序）
        -f：忽略要比较的字符大小写
        -u：去除重复的行（只要那个指定的字段重复，就认定是重复的行）
        -r：按照降序排序

    例子：对文件中的内容进行排序
    # sort mypwd
        （默认排序：针对每行的第一个字母的ASCII中的值进行比较排序）

    例子：对文件中的内容按照冒号分割第二部分进行排序
    # sort -t":" -k2

uniq命令

uniq命令[通常结合sort先进行排序，然后再使用该命令统计相同的行出现的次数]
    作用：去除重复的行（相邻且相同，认定为重复）
    选项：
        -c：在行首用数字表示该行出现了多少次
        -d：仅仅显示出现过重复的行
        -u：仅仅显示那些没有出现重复过的行

    例子：将文件中相同的行去重
    # sort mypwd | uniq

2.awk命令

作用：逐行处理文件中的内容（读取一行，处理一行）

例子：输出用户的uid

# cat /etc/passwd | awk -F ":" '{prin t $3}'

处理过程

1）前面的cat将内容传递给awk

2）awk读取一行，然后执行-F进行分割，然后执行一次{ }

格式：

awk [options] '[pattern]{action}' fileName

说明

options：选项，比如 -F 指定分隔符

pattern：输出的条件，比如仅仅输出以#开头的行

action：按照选项切换，并且是符合条件的行，要执行的操作或者命令，比如输出

概念：

记录（record）：一行就是一个记录

分隔符（field separator）：进行对记录进行切割的时候所使用的字符

字段（field）：将一条记录分割成的每一段

3.常用的内置变量

    FILENAME：当前处理文件的文件名
    FS（Field Separator）：字段分隔符（默认是以空格为分隔符）
    NR（Number of Rrecord）：记录的编号（awk每读取一行，NR就加1）
    NF（Number of Field）：字段数量（记录了当前这条记录包含多少个字段）
    ORS（Output Record Separator）：指定输出记录分隔符（指定在输出结果中记录末尾是什么，默认是\n，也就是换行）[\n表示换行]
    OFS（Output Field Separator）：输出字段分隔符
    RS：记录分隔符

4.awk常用使用方式总结

结合本人平时使用总结可如下五种平时最常用的方式

1.结合内置变量，打印指定的几行，以及字段数量

例子：输出有多余5个字段的行的第三个字段

# cat a.sh | awk -F ":" 'NF>=5{print $3}'

例子：输出每行行号和该行有几个字段

# cat a.sh | awk -F ":" '{print NR,NF}'

例子：输出用户名，要求所有用户显示在同一行，而且用空格分隔

# cat mypwd | awk 'BEGIN{FS=":"; ORS=" "}{print $1}'

2.结合正则来匹配一行或者某个字段

例子：输出用户名以s为开头的用户的uid

# cat mypwd | awk -F ":" '/^s/{print $}'

例子：输出第五个字段是以t为结尾的用户的姓名

# cat mypwd | awk -F ":" '$5~/t$/{print $1}'

3.采用比较符号来进行打印指定的某些行

# cat mypwd | awk 'NR>=3&&NR<=5{print NR,$1}'

或

# cat mypwd | awk 'NR==3,NR==5{print NR,$1}'

例子：实现仅仅输出3 和 5 和 7行的内容，每行前面添加一个行号

# cat mypwd | awk 'NR==3||NR==5||NR==7{print NR,$1}'

4.结合BEGIN和END模块统计和N++等计算某些字段和行出现的次数

例子：统计mypwd中以#开头的行有多少行

# cat mypwd | awk 'BEGIN{n=0}/^#/{n+=1}END{print n}'

统计：mypwd中，以：为分隔符，字段数量在3-5的行的数目

# cat mypwd  | awk 'BEGIN{FS=":"}NF>=3&&NF<=5{n+=1}END{print n}'

5.数组。定义一个数组采用 {ip[$3]++}END{for (i in 数组名ip）print i,ip[i]}

例子：统计IP

[root@centos6-2 tmp]# cat url.txt | awk -F "/+" '{urls[$2]++}END{for(key in urls)print key, urls[key]}’

5.四剑客之sed

1.简介

文本编辑器，也是对文件中的内容进行逐行的处理（一次处理一行）

sed的工作原理

sed读取一行，首先将这行放入到缓存中

然后，才对这行进行处理

处理完成以后，将缓冲区的内容发送到终端

存储sed读取到的内容的缓存区空间称之为：模式空间（Pattern Space）

格式：sed [options] file

2.选项

-p：打印输出（会将模式空间中的内容连同处理的行的结果一并输出）[Print 使用该选项后不要和-i一起使用，否则文本内容会被替换为只有指定的那些行
如果需要验证的话只需要使用-p和-n进行验证即可，不要加上-i
-n和-i也不要一起使用]
n：使用静默模式（不输出模式空间中的内容）[可以理解为no模式空间]
-r：使用扩招正则表达式中的符号[正则regular]
-i：直接修改原始文件（默认是修改模式空间中的文件副本）[In place直接在文件里面修改]
!：对命令的执行结果取反（不显示命令找到的内容）[和awk一样使用单引号]
&：引用前面的搜索结果

3.操作

 a：添加
 i：插入
 d：删除
 p：打印输出
 s：字符串替换
 c：做行替换
 r: 从一个文件中读取到另一个文件中
 w: 从一个文件中将匹配的内容写入到另外一个文件中

4.sed用法总结

结合本人使用，总结了如下sed常用用法

1.查找指定的字符串

例子：显示/etc/passwd中保含root的行(显示模式空间中的内容)

方法1：set '/root/p' /etc/passwd

方法2：cat /etc/passwd | sed '/root/p'

2.在指定的位置做增删

例子：删除以root为开头的行

# sed '/^root/d' a.txt

例子：在包含root的行后添加一行 i am zxhk

# sed '/root/a i am zxhk' a.txt

3.按行替换

例子：将5到9行的内容替换为 i am zxhk

# sed '5,9c i am zxhk' a.txt

4.按照字符替换

例子：将/etc/selinux/config中的SELINUX=enforcing改成 disabled

写法1：# sed -i 's/SELINUX=disabled/SELINUX=enforcing/g' config

写法2：# sed -r -i 's/(SELINUX=)disabled/\1enforcing/g' config

5.查找指定的内容再做替换

例子：将以r开头的行中的oo替换为qq

# sed '/^r/{s/oo/qq/g}' passwd

6.多点编辑

例子：去除文件中的注释行和空白行

# grep -v -E "(^#)|(^$)" passwd.bak >passwd

# cat passwd.bak | sed -e '/^#/d' -e '/^$/d' >passwd

7.取反操作

显示非1-3行

# sed -n '1-3!p' passwd

6.结束语

四剑客已经讲解完毕，熟练掌握如上常用用法，就可以在工作中游刃有余了，试着操作一遍吧！