文章目录
- 1. 系统常用命令
- 1.1 linux踢出在线用户
- 1.2 创建swap分区
- 1.3 centos7修改网卡ip地址
- 1.4 查看系统内存，内存使用量较高的进程
- 1.5 持续ping并将结果记录到日志
- 1.6 查找80端口请求数最高的前20个IP
- 1.7 配置阿里云yum源
- 1.8 grep 过滤多个条件
- 1.9 vim
- 1.10 AWK
- 2. mysql
- 3.服务常用命令
数据库部分摘抄自python那些事
1. 系统常用命令
1.1 linux踢出在线用户
# pts/2 是查找后的用户
pkill -kill -t pts/2
1.2 创建swap分区
dd if=/dev/zero of=/data/swapfile bs=1M count=8000
mkswap /data/swapfile
chmod 0600 /data/swapfile
swapon /data/swapfile
1.3 centos7修改网卡ip地址
nmcli connection modify ens33 ipv4.address "192.168.0.64/24"
nmcli connection modify ens33 ipv4.method manual
nmcli connection up ens33
systemctl restart network
1.4 查看系统内存，内存使用量较高的进程
# 找出当前系统内存使用量较高的进程
ps -aux | sort -rnk 4 | head -20
# 找出当前系统CPU使用量较高的进程
ps -aux | sort -rnk 3 | head -20
1.5 持续ping并将结果记录到日志
ping api.test.cn | awk '{ print $0" " strftime(“%Y-%m-%d %H:%M:%S",systime()) }' >> /tmp/ping_test.log &
1.6 查找80端口请求数最高的前20个IP
netstat -anlp|grep 80|grep tcp|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -nr|head -n20
1.7 配置阿里云yum源
yum -y install wget
cd /etc/yum.repos.d/
mkdir repo_bak
mv *.repo repo_bak/
# 下载阿里源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 清空yum缓存
yum clean all
# 安装扩展包
yum -y install epel-release
yum clean all
1.8 grep 过滤多个条件
grep -E "^#|^$" /etc/kubernetes/config -v
1.9 vim
1.9.1 替换
# 替换当前行第一个 aaa为 bbb
s/aaa/bbb/
# 替换当前行所有 aaa为 bbb
s/aaa/bbb/g
# 替换第 n 行开始到最后一行中每一行的第一个 aaa为 bbb
n，$s/aaa/bbb/
# 替换第 n 行开始到最后一行中每一行所有 aaa为 bbb
n，$s/aaa/bbb/g
# n 为数字，若 n 为 .，表示从当前行开始到最后一行
# 替换开始到最后一行中每一行第一个 aaa为 bbb
%s/aaa/bbb/
# 替换每一行中所有 aaa为 bbb
%s/aaa/bbb/g
1.10 AWK
test.txt
a1 a2 a3 a4
b1 b2 b3 b4 b5
c1 c2 c3 c4
d1 d2 d3 d4
# NF 字段个数，（读取的列数）,awk按行读取,将每一行的字段个数赋值给变量NF并打印出来
awk '{print NF}' test.txt
4
5
4
4
# NR 记录数（行号），从1开始，新的文件延续上面的计数，新文件不从1开始,可以用来查询过滤结果所在行
awk '{print NR}' test.txt
1
2
3
4
# 查看字段数大于2的行号,并输出
awk '{if(NF>4)print "字段数大于2的行号为：" NR}' test.txt
字段数大于2的行号为：2
# FNR 读取文件的记录数（行号），从1开始，新的文件重新从1开始计数,与NR不同于当同时读取多个文件时,读取新的文件时行号从零开始,NR则累加
# FS 输入字段分隔符，默认是空格,与-F效果一样
awk 'BEGIN{FS=" "}{print $1,$2}' test.txt
awk -F ' ' '{print $1,$2}' test.txt
a1a2
b1b2
c1c2
d1d2
# OFS 输出字段分隔符 默认也是空格
awk 'BEGIN{OFS="---"}{print $1,$2}' test.txt
a1---a2
b1---b2
c1---c2
d1---d2
# RS 输入行分隔符，默认为换行符(以空格作为换行符)
awk 'BEGIN{RS=" "}{print $0}' test.txt
a1
a2
a3
a4
b1
b2
b3
b4
b5
c1
c2
c3
c4
d1
d2
d3
d4
# ORS 输出行分隔符，默认为换行符
awk 'BEGIN{ORS="---"}{print $1 $2}' test.txt
a1a2---b1b2---c1c2---d1d2---
2. mysql
2.1 mysql常用命令
2.1.1 外部命令
# 查看binlog
mysqlbinlog -v --stop-position=360114 /log/mysql_3306-bin.000270 > /tmp/f.log
# 按照时间段查询
mysqlbinlog -uroot -p123456 -d db_name--base64-output=decode-rows -v --start-datetime "2017-12-15 14:00:00" --stop-datetime "2017-12-15 16:55:00" /your/binglog/mysql_3306-bin.000060 -r /root/test.sql
# 查看binglog
# mysqlsla软件 需要安装
mysqlsla -lt slow --sort t_sum --top 20 /data/mysql/mysql_3306/slowquery_3306.log > /root/a.log
2.1.2 mysql主从同步相关
# 需要先将主库备份还原到从库，在制定pos点同步，pos点在备份时会记录
change master to master_host='10.10.101.1',master_user='user',master_password='passwd',master_log_file='mysql_3306-bin.000001',master_log_pos=349981,master_port=3306;
# 跳过一步同步
stop slave;set global sql_slave_skip_counter=1;start slave;
2.1.3密码和权限相关
# 重置密码
set password=password("123456");
# 添加用户并授权
grant all privileges on *.* to 'roottest'@'%' identified by '123456' WITH GRANT OPTION;
# 重载授权表
FLUSH PRIVILEGES
2.1.4 变量查询
# 查看日志相关配置
SHOW VARIABLES LIKE '%log%';
# 查看慢日志是否开启
show variables like 'slow_query%';
# 查看慢日志时间(多久才算慢日志)
show variables like 'long%';
2.2 sql相关
2.2.1 数据库操作
-- 查看当前数据库
SELECT DATABASE();
-- 显示当前时间、用户名、数据库版本
SELECT now(), user(), version();
-- 创建库
CREATE DATABASE[ IF NOT EXISTS] 数据库名 数据库选项
--数据库选项：
CHARACTER SET charset_name
COLLATE collation_name
-- 查看已有库
SHOW DATABASES[ LIKE 'PATTERN']
-- 查看当前库信息
SHOW CREATE DATABASE 数据库名
-- 修改库的选项信息
ALTER DATABASE 库名 选项信息
-- 删除库,同时删除该数据库相关的目录及其目录内容
DROP DATABASE[ IF EXISTS] 数据库名
2.2.2 表操作
-- 创建表
CREATE [TEMPORARY] TABLE[ IF NOT EXISTS] [库名.]表名 ( 表的结构定义 )[ 表选项]
--每个字段必须有数据类型
--最后一个字段后不能有逗号
TEMPORARY 临时表，会话结束时表自动消失
--对于字段的定义：
--字段名 数据类型 [NOT NULL | NULL] [DEFAULT default_value] [AUTO_INCREMENT] [UNIQUE [KEY] | [PRIMARY] KEY] [COMMENT 'string']
-- 表选项
-- 字符集
CHARSET = charset_name
--如果表没有设定，则使用数据库字符集
-- 存储引擎
ENGINE = engine_name
--表在管理数据时采用的不同的数据结构，结构不同会导致处理方式、提供的特性操作等不同
--常见的引擎：InnoDB MyISAM Memory/Heap BDB Merge Example CSV MaxDB Archive
--不同的引擎在保存表的结构和数据时采用不同的方式
MyISAM表文件含义：
--.frm表定义
--.MYD表数据
--.MYI表索引
InnoDB表文件含义：
--.frm表定义，
--共享表空间文件：ibdata1
--私有表空间文件：表名.ibd
--日志文件
SHOW ENGINES -- 显示存储引擎的状态信息
SHOW ENGINE 引擎名 {LOGS|STATUS} -- 显示存储引擎的日志或状态信息
-- 自增起始数
AUTO_INCREMENT = 行数
-- 数据文件目录
DATA DIRECTORY = '目录'
-- 索引文件目录
INDEX DIRECTORY = '目录'
-- 表注释
COMMENT = 'string'
-- 分区选项
PARTITION BY ... (详细见手册)
-- 查看所有表
SHOW TABLES[ LIKE 'pattern']
SHOW TABLES FROM 表名
-- 查看表机构
SHOW CREATE TABLE 表名 （信息更详细）
DESC 表名 / DESCRIBE 表名 / EXPLAIN 表名 / SHOW COLUMNS FROM 表名 [LIKE 'PATTERN']
SHOW TABLE STATUS [FROM db_name] [LIKE 'pattern']
-- 修改表
-- 修改表本身的选项
ALTER TABLE 表名 表的选项
eg: ALTER TABLE 表名 ENGINE=MYISAM;
-- 对表进行重命名
RENAME TABLE 原表名 TO 新表名
RENAME TABLE 原表名 TO 库名.表名 （可将表移动到另一个数据库）
-- RENAME可以交换两个表名
-- 修改表的字段机构（13.1.2. ALTER TABLE语法）
ALTER TABLE 表名 操作名
-- 操作名
ADD[ COLUMN] 字段定义 -- 增加字段
AFTER 字段名 -- 表示增加在该字段名后面
FIRST -- 表示增加在第一个
ADD PRIMARY KEY(字段名) -- 创建主键
ADD UNIQUE [索引名] (字段名)-- 创建唯一索引
ADD INDEX [索引名] (字段名) -- 创建普通索引
DROP[ COLUMN] 字段名 -- 删除字段
MODIFY[ COLUMN] 字段名 字段属性 -- 支持对字段属性进行修改，不能修改字段名(所有原有属性也需写上)
CHANGE[ COLUMN] 原字段名 新字段名 字段属性 -- 支持对字段名修改
DROP PRIMARY KEY -- 删除主键(删除主键前需删除其AUTO_INCREMENT属性)
DROP INDEX 索引名 -- 删除索引
DROP FOREIGN KEY 外键 -- 删除外键
-- 删除表
DROP TABLE[ IF EXISTS] 表名 ...
-- 清空表数据
TRUNCATE [TABLE] 表名
-- 复制表结构
CREATE TABLE 表名 LIKE 要复制的表名
-- 复制表结构和数据
CREATE TABLE 表名 [AS] SELECT * FROM 要复制的表名
-- 检查表是否有错误
CHECK TABLE tbl_name [, tbl_name] ... [option] ...
-- 优化表
OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...
-- 修复表
REPAIR [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ... [QUICK] [EXTENDED] [USE_FRM]
-- 分析表
ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...
2.2.3 数据操作
-- 增
INSERT [INTO] 表名 [(字段列表)] VALUES (值列表)[, (值列表), ...]
-- 如果要插入的值列表包含所有字段并且顺序一致，则可以省略字段列表。
-- 可同时插入多条数据记录！
REPLACE 与 INSERT 完全一样，可互换。
INSERT [INTO] 表名 SET 字段名=值[, 字段名=值, ...]
-- 删
DELETE FROM 表名[ 删除条件子句]
--没有条件子句，则会删除全部
-- 改
UPDATE 表名 SET 字段名=新值[, 字段名=新值] [更新条件]
-- 查
SELECT 字段列表 FROM 表名[ 其他子句]
-- 可来自多个表的多个字段
-- 其他子句可以不使用
-- 字段列表可以用*代替，表示所有字段
2.2.4 select
SELECT [ALL|DISTINCT] select_expr FROM -> WHERE -> GROUP BY [合计函数] -> HAVING -> ORDER BY -> LIMIT
1. select_expr
-- 可以用 * 表示所有字段。
select * from tb;
-- 可以使用表达式（计算公式、函数调用、字段也是个表达式）
select stu, 29+25, now() from tb;
-- 可以为每个列使用别名。适用于简化列标识，避免多个列标识符重复。
- 使用 as 关键字，也可省略 as.
select stu+10 as add10 from tb;
2. FROM 子句
用于标识查询来源。
-- 可以为表起别名。使用as关键字。
SELECT * FROM tb1 AS tt, tb2 AS bb;
-- from子句后，可以同时出现多个表。
-- 多个表会横向叠加到一起，而数据会形成一个笛卡尔积。
SELECT * FROM tb1, tb2;
-- 向优化符提示如何选择索引
USE INDEX、IGNORE INDEX、FORCE INDEX
SELECT * FROM table1 USE INDEX (key1,key2) WHERE key1=1 AND key2=2 AND key3=3;
SELECT * FROM table1 IGNORE INDEX (key3) WHERE key1=1 AND key2=2 AND key3=3;
3. WHERE 子句
-- 从from获得的数据源中进行筛选。
-- 整型1表示真，0表示假。
-- 表达式由运算符和运算数组成。
-- 运算数：变量（字段）、值、函数返回值
-- 运算符：
=, <=>, <>, !=, <=, <, >=, >, !, &&, ||,
in (not) null, (not) like, (not) in, (not) between and, is (not), and, or, not, xor
is/is not 加上ture/false/unknown，检验某个值的真假
<=>与<>功能相同，<=>可用于null比较
4. GROUP BY 子句, 分组子句
GROUP BY 字段/别名 [排序方式]
分组后会进行排序。升序：ASC，降序：DESC
以下[合计函数]需配合 GROUP BY 使用：
count 返回不同的非NULL值数目 count(*)、count(字段)
sum 求和
--max 求最大值
--min 求最小值
--avg 求平均值
--group_concat 返回带有来自一个组的连接的非NULL值的字符串结果。组内字符串连接。
5. HAVING 子句，条件子句
与 where 功能、用法相同，执行时机不同。
where 在开始时执行检测数据，对原数据进行过滤。
having 对筛选出的结果再次进行过滤。
having 字段必须是查询出来的，where 字段必须是数据表存在的。
where 不可以使用字段的别名，having 可以。因为执行WHERE代码时，可能尚未确定列值。
where 不可以使用合计函数。一般需用合计函数才会用 having
SQL标准要求HAVING必须引用GROUP BY子句中的列或用于合计函数中的列。
6. ORDER BY 子句，排序子句
order by 排序字段/别名 排序方式 [,排序字段/别名 排序方式]...
升序：ASC，降序：DESC
--支持多个字段的排序。
7. LIMIT 子句，限制结果数量子句
--仅对处理好的结果进行数量限制。将处理好的结果的看作是一个集合，按照记录出现的顺序，索引从0开始。
limit 起始位置, 获取条数
--省略第一个参数，表示从索引0开始。limit 获取条数
8. DISTINCT, ALL 选项
distinct 去除重复记录
--默认为 all, 全部记录
3.服务常用命令
3.1 重载haproxy
# 平滑重启
./haproxy -f /tmp/haproxy.cfg -p /tmp/haproxy.pid -sf $(cat /tmp/haproxy.pid)
3.2 nginx指定配置文件启动，关闭
# 启动
/usr/local/openresty/nginx/sbin/nginx -p /usr/local/cat_proxy/ -c conf/nginx.conf
# 关闭
/usr/local/openresty/nginx/sbin/nginx -p /usr/local/cat_proxy/ -c conf/nginx.conf -s stop