linux cut命令(按列提取文本字符)

Linux Shell_cut命令(按列提取文本字符)-LMLPHP

cut是一个选取命令,就是将一段数据经过分析,取出我们想要的。一般来说,选取信息通常是针对“行”来进行分析的,并不是整篇信息分析的

  • 语法格式
cut  [-bn] [file]cut [-c] [file]cut [-df] [file]
  • 使用说明

cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。

如果不指定 File 参数,cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。

  • 主要参数
  • **-b :**以字节为单位进行分割。这些字节位置将忽略多字节字符边界,除非也指定了 -n 标志。
  • **-c :**以字符为单位进行分割。
  • **-d :**自定义分隔符,默认为制表符。
  • **-f :**与-d一起使用,指定显示哪个区域。
  • **-n :**取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的范围之内,该字符将被写出;否则,该字符将被排除。

cut命令主要是接受三个****定位方法

  • 字节(bytes),用选项-b
  • 字符(characters),用选项-c
  • 域(fields),用选项-f

(3)以“字节”定位

当执行ps命令时,会输出类似如下的内容:

[rocrocket@rocrocket programming]$ who
rocrocket :0           2009-01-08 11:07
rocrocket pts/0        2009-01-08 11:23 (:0.0)
rocrocket pts/1        2009-01-08 14:15 (:0.0)
#果我们想提取每一行的第3个字节,就这样:
[rocrocket@rocrocket programming]$ who|cut -b 3
c
c
c

(4) 如果“字节”定位中,我想提取第3,第4、第5和第8个字节,怎么办?

-b支持形如3-5的写法,而且多个定位之间用逗号隔开就成了。看看例子吧:

[rocrocket@rocrocket programming]$ who|cut -b 3-5,8
croe
croe
croe

但有一点要注意,cut命令如果使用了-b选项,那么执行此命令时,cut会先把-b后面所有的定位进行从小到大排序,然后再提取。可不能颠倒定位的顺序哦。这个例子就可以说明这个问题:

[rocrocket@rocrocket programming\]\$ who|cut -b 8,3-5
croe
croe
croe

(5) 还有哪些类似“3-5”这样的小技巧,列举一下吧!

[rocrocket@rocrocket programming\]\$ who
rocrocket :0           2009-01-08 11:07
rocrocket pts/0        2009-01-08 11:23 (:0.0)
rocrocket pts/1        2009-01-08 14:15 (:0.0)
[rocrocket@rocrocket programming\]\$ who|cut -b -3
roc
roc
roc
[rocrocket@rocrocket programming\]\$ who|cut -b 3-
crocket :0           2009-01-08 11:07
crocket pts/0        2009-01-08 11:23 (:0.0)
crocket pts/1        2009-01-08 14:15 (:0.0)

想必你也看到了,-3表示从第一个字节到第三个字节,而3-表示从第三个字节到行尾。如果你细心,你可以看到这两种情况下,都包括了第三个字节“c”。

如果我执行who|cut -b -3,3-,你觉得会如何呢?答案是输出整行,不会出现连续两个重叠的c的。看:

[rocrocket@rocrocket programming\]\$ who|cut -b -3,3-
rocrocket :0           2009-01-08 11:07
rocrocket pts/0        2009-01-08 11:23 (:0.0)
rocrocket pts/1        2009-01-08 14:15 (:0.0)

(6)给个以字符为定位标志的最简单的例子吧!

下面例子你似曾相识,提取第3,第4,第5和第8个字符:

[rocrocket@rocrocket programming\]\$ who|cut -c 3-5,8
croe
croe
croe

不过,看着怎么和-b没有什么区别啊?莫非-b和-c作用一样? 其实不然,看似相同,只是因为这个例子举的不好,who输出的都是单字节字符,所以用-b和-c没有区别,如果你提取中文,区别就看出来了,来,看看中文提取的情况:

[rocrocket@rocrocket programming\]\$ cat cut\_ch.txt
星期一
星期二
星期三
星期四
[rocrocket@rocrocket programming\]\$ cut -b 3 cut\_ch.txt  

[rocrocket@rocrocket programming\]\$ cut -c 3 cut\_ch.txt
一
二
三
四

看到了吧,用-c则会以字符为单位,输出正常;而-b只会傻傻的以字节(8位二进制位)来计算,输出就是乱码。

既然提到了这个知识点,就再补充一句,如果你学有余力,就提高一下。
当遇到多字节字符时,可以使用-n选项,-n用于告诉cut不要将多字节字符拆开。

例子如下:

[rocrocket@rocrocket programming\]\$ cat cut\_ch.txt |cut -b 2  

[rocrocket@rocrocket programming\]\$ cat cut\_ch.txt |cut -nb 2

[rocrocket@rocrocket programming\]\$ cat cut\_ch.txt |cut -nb 1,2,3
星
星
星
星

(7)域是怎么回事呢?解释解释:)

为什么会有“域”的提取呢,因为刚才提到的-b和-c只能在固定格式的文档中提取信息,而对于非固定格式的信息则束手无策。这时候“域”就派上用场了。如果你观察过/etc/passwd文件,你会发现,它并不像who的输出信息那样具有固定格式,而是比较零散的排放。但是,冒号在这个文件的每一行中都起到了非常重要的作用,冒号用来隔开每一个项。

我们很幸运,cut命令提供了这样的提取方式,具体的说就是设置“间隔符”,再设置“提取第几个域”,就OK了!

以/etc/passwd的前五行内容为例:

[rocrocket@rocrocket programming\]\$ cat /etc/passwd|head -n 5
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[rocrocket@rocrocket programming\]\$ cat /etc/passwd|head -n 5|cut -d : -f 1
root
bin
daemon
adm
lp

看到了吧,用-d来设置间隔符为冒号,然后用-f来设置我要取的是第一个域,再按回车,所有的用户名就都列出来了!呵呵 有成就感吧!

当然,在设定-f时,也可以使用例如3-5或者4-类似的格式:

[rocrocket@rocrocket programming\]\$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5
root:0:0:root
bin:1:1:bin
daemon:2:2:daemon
adm:3:4:adm
lp:4:7:lp
[rocrocket@rocrocket programming\]\$ cat /etc/passwd|head -n 5|cut -d : -f 1,3-5,7
root:0:0:root:/bin/bash
bin:1:1:bin:/sbin/nologin
daemon:2:2:daemon:/sbin/nologin
adm:3:4:adm:/sbin/nologin
lp:4:7:lp:/sbin/nologin
[rocrocket@rocrocket programming\]\$ cat /etc/passwd|head -n 5|cut -d : -f -2
root:x
bin:x
daemon:x
adm:x
lp:x

(8)如果遇到空格和制表符时,怎么分辨呢?我觉得有点乱,怎么办?

有时候制表符确实很难辨认,有一个方法可以看出一段空格到底是由若干个空格组成的还是由一个制表符组成的。

[rocrocket@rocrocket programming\]\$ cat tab\_space.txt
this is tab finish.
this is several space      finish.
[rocrocket@rocrocket programming\]\$ sed -n l tab\_space.txt
this is tab\\tfinish.\$
this is several space      finish.\$

看到了吧,如果是制表符(TAB),那么会显示为\t符号,如果是空格,就会原样显示。
通过此方法即可以判断制表符和空格了。
注意,上面sed -n后面的字符是L的小写字母哦,不要看错。

(9)我应该在cut -d中用什么符号来设定制表符或空格呢?

其实cut的-d选项的默认间隔符就是制表符,所以当你就是要使用制表符的时候,完全就可以省略-d选项,而直接用-f来取域就可以了。

如果你设定一个空格为间隔符,那么就这样:

[rocrocket@rocrocket programming]$ cat tab_space.txt |cut -d ’ ’ -f 1
this
this
注意,两个单引号之间可确实要有一个空格哦,不能偷懒。
而且,你只能在-d后面设置一个空格,可不许设置多个空格,因为cut只允许间隔符是一个字符。

[rocrocket@rocrocket programming]$ cat tab_space.txt |cut -d ’ ’ -f 1
cut: the delimiter must be a single character
Try `cut --help’ for more information.

(10)cut有哪些缺陷和不足?

猜出来了吧?对,就是在处理多空格时。

如果文件里面的某些域是由若干个空格来间隔的,那么用cut就有点麻烦了,因为cut只擅长处理“以一个字符间隔”的文本内容

底层原理

Linux cut 命令的底层实现主要是用 C 语言编写的。这个命令是 GNU coreutils 的一部分,其源代码可以在 coreutils/cut.c 找到。

cut 命令的工作原理主要是通过读取输入(可以是文件或者是标准输入),然后根据指定的字段(field)、字符(character)或者字节(byte)进行切割。这个过程主要涉及到以下几个步骤:

  1. 打开并读取输入:这个过程可能涉及到文件 I/O 操作,例如 fopenfread 等系统调用。
  2. 解析命令行参数:cut 命令支持多种参数,例如 -d(指定字段分隔符)、-f(指定要显示的字段)等,解析这些参数需要用到字符串处理函数,例如 strtok
  3. 切割输入:根据指定的字段、字符或字节进行切割,这个过程可能涉及到字符串处理函数,例如 strncpy
  4. 输出结果:将切割后的结果输出到标准输出或者文件,这个过程涉及到文件 I/O 操作,例如 fwrite

以上是 cut 命令的一般工作原理,具体的实现可能会有所不同,具体可以参考源代码进行理解。

使用C++ 实现cut命令

以下是一个简单的 C++17 实现,它模拟了 Linux cut 命令的一些基本功能,如 -d(指定字段分隔符)和 -f(指定要显示的字段)。

#include <iostream>
#include <fstream>
#include <sstream>
#include <vector>
#include <string>
#include <algorithm>

std::vector<std::string> split(const std::string& s, char delimiter) {
    std::vector<std::string> tokens;
    std::string token;
    std::istringstream tokenStream(s);
    while (std::getline(tokenStream, token, delimiter)) {
        tokens.push_back(token);
    }
    return tokens;
}

void cut(const std::string& filename, char delimiter, int field) {
    std::ifstream file(filename);
    if (!file.is_open()) {
        std::cerr << "Could not open file " << filename << std::endl;
        return;
    }

    std::string line;
    while (std::getline(file, line)) {
        auto tokens = split(line, delimiter);
        if (field < 1 || field > tokens.size()) {
            std::cerr << "Field " << field << " does not exist in line: " << line << std::endl;
            continue;
        }
        std::cout << tokens[field - 1] << std::endl;
    }
}

int main(int argc, char* argv[]) {
    if (argc != 4) {
        std::cerr << "Usage: " << argv[0] << " <filename> <delimiter> <field>" << std::endl;
        return 1;
    }

    std::string filename = argv[1];
    char delimiter = argv[2][0];
    int field = std::stoi(argv[3]);

    cut(filename, delimiter, field);

    return 0;
}

这个程序接受三个命令行参数:文件名、字段分隔符和要显示的字段。然后,它打开指定的文件,读取每一行,将每一行按照指定的分隔符切割成多个字段,然后输出指定的字段。

请注意,这个程序假设字段分隔符是单个字符,而且它没有处理错误的情况,例如文件不存在、字段不存在等。在实际使用中,你可能需要增加更多的错误处理代码。

06-03 17:06