import subprocess
res = subprocess.Popen('dir',shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
print('Stdout:',res.stdout.read().decode('gbk'))
print('Stderr:',res.stderr.read().decode('gbk'))PIPE把输出的东西装到一个'水管'里,如果在windows中的编码格式是gbk,执行结果:
Stdout: 驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 2019/09/16 13:48 <DIR> .
2019/09/16 13:48 <DIR> ..
2019/09/16 13:47 <DIR> .idea
2019/09/16 13:46 21 Client1.py
2019/09/16 13:42 0 Client2.py
2019/09/16 13:48 207 Sever1.py
2019/09/16 01:41 70 time_test.py
2019/09/14 23:51 <DIR> venv
4 个文件 298 字节
4 个目录 45,863,636,992 可用字节 Stderr:
在这里也可以使用os.popen()但是它会不管正确和错误的结果都放在一起,而用subprocess能够分别拿到正确和错误的信息
基于TCP实现的黏包
Sever:
import socket
sk = socket.socket()
sk.bind(('127.0.0.1',8092))
sk.listen()
conn,addr = sk.accept()
while True:
cmd = input('<<<')
conn.send(cmd.encode('gbk'))
ret = conn.recv(1024).decode('gbk')
print(ret)
conn.close()
sk.close()
Client:
import socket
import subprocess
sk = socket.socket()
sk.connect(('127.0.0.1',8092))
while True:
cmd = sk.recv(1024).decode('gbk')
ret = subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)
std_out = 'stdout:' + (ret.stdout.read()).decode('gbk')
std_err = 'stderr:' + (ret.stderr.read()).decode('gbk')
print(std_out)
print(std_err)
sk.send(std_out.encode('gbk'))
sk.send(std_err.encode('gbk'))
sk.close()
执行结果:
Sever:
<<<dir;ls
stdout: 驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 <<<ipconfig
stderr:找不到文件 <<<
Client:
stdout: 驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 stderr:找不到文件 stdout:
Windows IP 配置 以太网适配器 Bluetooth 网络连接 2: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 以太网适配器 本地连接: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 无线局域网适配器 无线网络连接: 连接特定的 DNS 后缀 . . . . . . . :
本地链接 IPv6 地址. . . . . . . . : fe80::8c6:36a9:6fa6:8018%14
IPv4 地址 . . . . . . . . . . . . : 192.168.43.216
子网掩码 . . . . . . . . . . . . : 255.255.255.0
默认网关. . . . . . . . . . . . . : 192.168.43.1 隧道适配器 本地连接* 3: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : stderr:
当我们在sever端输入dir;ls命令时,只有stdout的结果跑出来,而当我们输入ipconfig这个命令时,系统将上一次dir;ls未执行完的stderr的结果给跑出来。像这样没有接受完全或者接受多了的就是黏包现象。
TCP会有黏包现象但是它不丢包。
基于UDP实现的黏包
Sever:
import socket
sk = socket.socket(type=socket.SOCK_DGRAM)
sk.bind(('127.0.0.1',8092))
msg,addr = sk.recvfrom(10240) while 1:
cmd = input('<<<')
if cmd == 'q':
break
sk.sendto(cmd.encode('gbk'),addr)
msg,addr = sk.recvfrom(10240)
print(msg.decode('gbk')) sk.close()
Client:
import socket
import subprocess
sk = socket.socket(type=socket.SOCK_DGRAM)
addr = ('127.0.0.1',8092)
sk.sendto('Start'.encode('utf-8'),addr)
while 1:
cmd,addr = sk.recvfrom(10240)
ret = subprocess.Popen(cmd.decode('gbk'),shell=True,stderr=subprocess.PIPE,stdout=subprocess.PIPE)
std_out = 'Stdout:' + (ret.stdout.read()).decode('gbk')
std_err = 'Stderr:' + (ret.stderr.read()).decode('gbk')
print(std_out)
print(std_err)
sk.sendto(std_out.encode('gbk'),addr)
sk.sendto(std_err.encode('gbk'),addr)
sk.close()
执行结果:
Sever:
<<<dir;ls
Stdout: 驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 <<<dir
Stderr:找不到文件 <<<ipconfig
Stdout: 驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 2019/09/16 14:43 <DIR> .
2019/09/16 14:43 <DIR> ..
2019/09/16 14:37 <DIR> .idea
2019/09/16 14:43 553 Client1.py
2019/09/16 13:42 0 Client2.py
2019/09/16 14:43 306 Sever1.py
2019/09/16 01:41 70 time_test.py
2019/09/14 23:51 <DIR> venv
4 个文件 929 字节
4 个目录 45,855,449,088 可用字节 <<<pwd
Stderr:
<<<ip
Stdout:
Windows IP 配置 以太网适配器 Bluetooth 网络连接 2: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 以太网适配器 本地连接: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 无线局域网适配器 无线网络连接: 连接特定的 DNS 后缀 . . . . . . . :
本地链接 IPv6 地址. . . . . . . . : fe80::8c6:36a9:6fa6:8018%14
IPv4 地址 . . . . . . . . . . . . : 192.168.43.216
子网掩码 . . . . . . . . . . . . : 255.255.255.0
默认网关. . . . . . . . . . . . . : 192.168.43.1 隧道适配器 本地连接* 3: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : <<<
Client:
Stdout: 驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 Stderr:找不到文件 Stdout: 驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 2019/09/16 14:43 <DIR> .
2019/09/16 14:43 <DIR> ..
2019/09/16 14:37 <DIR> .idea
2019/09/16 14:43 553 Client1.py
2019/09/16 13:42 0 Client2.py
2019/09/16 14:43 306 Sever1.py
2019/09/16 01:41 70 time_test.py
2019/09/14 23:51 <DIR> venv
4 个文件 929 字节
4 个目录 45,855,449,088 可用字节 Stderr:
Stdout:
Windows IP 配置 以太网适配器 Bluetooth 网络连接 2: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 以太网适配器 本地连接: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 无线局域网适配器 无线网络连接: 连接特定的 DNS 后缀 . . . . . . . :
本地链接 IPv6 地址. . . . . . . . : fe80::8c6:36a9:6fa6:8018%14
IPv4 地址 . . . . . . . . . . . . : 192.168.43.216
子网掩码 . . . . . . . . . . . . : 255.255.255.0
默认网关. . . . . . . . . . . . . : 192.168.43.1 隧道适配器 本地连接* 3: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : Stderr:
Stdout:
Stderr:'pwd' 不是内部或外部命令，也不是可运行的程序
或批处理文件。 Stdout:
Stderr:'ip' 不是内部或外部命令，也不是可运行的程序
或批处理文件。
可以看出UDP不会有黏包现象,会产生丢包现象,没发完就不发了,不完整也不可靠。
黏包成因
TCP协议的数据传送
拆包机制
当发送端缓冲区的长度大于网卡的MTU时,TCP会将这次发送的数据拆成几个数据包发送出去。MTU是Maximum Transmission Unit的缩写,意思是网络上传送最大数据包,MTU是字节单位,大部分网络设备的MTU都是1500.如果本机的MTU比网关的MTU大,大的数据包就会被拆开来传送,这样会产生很多数据包碎片,增加丢包率,降低网络速度。
在正常情况下它的拆包可理解为:
面向流的通信特点和Nagle算法
TCP(transport control protocol,传输控制协议),是面向连接的,面向流的,提供高可靠性的服务。收发两端(客户端和服务端)都要有一一成对的socket,因此发送端为了将多个发往接收端的包,更有效地发往对方,使用了优化算法(Nagle算法),将多次间隔较小且数据量小的数据,合并成一个大的数据块,然后进行封包。这样接收端就难于分辨出来了,必须提供科学的拆包机制。即面向流的通信是无消息保护边界的。
对于空消息:TCP是基于数据流的,于是收发消息不能为空,这就需要在客户端和服务端都添加空消息的处理机制,防止程序卡住,而UDP协议是基于数据报的,即便是你输入的是空内容(直接回车),也可以被发送,UDP协议会帮你封装上消息然后发出去。
可靠黏包的TCP协议:TCP协议数据不会丢,没有收完包,就会下次接收,会继续上次继续接受。
基于tcp协议特点的黏包现象成因
当我们在socket服务端发送值1、2,然后根据优化算法,它会把1先放到这个缓存当中等一等,然后再把2一起封装起来,然后再发出去,因此我们看到的就是黏包现象
这种现象的表面现象是两个send太近且发送的消息太短
发送端可以使1K1K地发送数据,而接收端的应用程序可以两K两K地提走数据,当然也有可能一次提走3K或6K数据,或者一次只提走几个字节的数据。也就是说,应用程序所看到的数据是一个整体,或者说是一个流(stream),一条消息有多少字节对应程序是不可见的,因此TCP协议是面向流的协议,这也是容易出现黏包问题的原因。而UDP协议是面向消息的协议,每个UDP段都是一条消息,应用程序必须以消息单位提取数据,不能一次提取任意字节的数据,这一点和TCP是很不同的。
解决黏包的方法
解决方案一:
Sever:
import socket
sk = socket.socket()
sk.bind(('127.0.0.1',8080))
sk.listen()
conn,addr = sk.accept() while True:
cmd = input('<<<')
if cmd == 'q':
conn.send(b'q')
break
conn.send(cmd.encode('gbk'))
num = conn.recv(1024).decode('utf-8')
conn.send(b'ok')
res = conn.recv(int(num)).decode('gbk')
print(res) conn.close()
sk.close()
Client:
import socket
import subprocess sk = socket.socket()
sk.connect(('127.0.0.1',8080))
while True:
cmd = sk.recv(1024).decode('gbk')
if cmd == 'q':
break
res = subprocess.Popen(cmd,shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
std_out = res.stdout.read()
std_err = res.stderr.read()
sk.send(str(len(std_out) + len(std_err)).encode('utf-8'))
sk.recv(1024)
print('Stdout:' + std_out.decode('gbk'))
print('Stderr:' + std_err.decode('gbk'))
sk.send(std_out)
sk.send(std_err) sk.close()
执行结果:
Sever:
<<<dir
驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 2019/09/17 15:33 <DIR> .
2019/09/17 15:33 <DIR> ..
2019/09/17 15:31 <DIR> .idea
2019/09/17 15:33 623 Client1.py
2019/09/16 13:42 0 Client2.py
2019/09/17 15:21 389 Sever1.py
2019/09/16 01:41 70 time_test.py
2019/09/14 23:51 <DIR> venv
4 个文件 1,082 字节
4 个目录 45,031,833,600 可用字节 <<<ls
'ls' 不是内部或外部命令，也不是可运行的程序
或批处理文件。 <<<ipconfig Windows IP 配置 以太网适配器 Bluetooth 网络连接 2: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 以太网适配器 本地连接: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 无线局域网适配器 无线网络连接: 连接特定的 DNS 后缀 . . . . . . . :
本地链接 IPv6 地址. . . . . . . . : fe80::8c6:36a9:6fa6:8018%14
IPv4 地址 . . . . . . . . . . . . : 192.168.43.216
子网掩码 . . . . . . . . . . . . : 255.255.255.0
默认网关. . . . . . . . . . . . . : 192.168.43.1 隧道适配器 本地连接* 3: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : <<<
Client:
Stdout: 驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 2019/09/17 15:33 <DIR> .
2019/09/17 15:33 <DIR> ..
2019/09/17 15:31 <DIR> .idea
2019/09/17 15:33 623 Client1.py
2019/09/16 13:42 0 Client2.py
2019/09/17 15:21 389 Sever1.py
2019/09/16 01:41 70 time_test.py
2019/09/14 23:51 <DIR> venv
4 个文件 1,082 字节
4 个目录 45,031,833,600 可用字节 Stderr:
Stdout:
Stderr:'ls' 不是内部或外部命令，也不是可运行的程序
或批处理文件。 Stdout:
Windows IP 配置 以太网适配器 Bluetooth 网络连接 2: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 以太网适配器 本地连接: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 无线局域网适配器 无线网络连接: 连接特定的 DNS 后缀 . . . . . . . :
本地链接 IPv6 地址. . . . . . . . : fe80::8c6:36a9:6fa6:8018%14
IPv4 地址 . . . . . . . . . . . . : 192.168.43.216
子网掩码 . . . . . . . . . . . . : 255.255.255.0
默认网关. . . . . . . . . . . . . : 192.168.43.1 隧道适配器 本地连接* 3: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : Stderr:
这种写法的好处就是能确定Sever到底要接受多少数据,不好的地方就是多了一次交互
解决方案二:使用struct模块
用struct模块我们能把一个数据类型转换成固定长度的bytes
这里以数字类型举例,'i'代表int类型:
import struct
print(struct.pack('i',2048),len(struct.pack('i',2048))) #b'\x00\x08\x00\x00' 4
print(struct.pack('i',204800),len(struct.pack('i',204800))) #b'\x00 \x03\x00' 4
print(struct.pack('i',2048000),len(struct.pack('i',2048000))) #b'\x00@\x1f\x00' 4
当后面的数值戳过一定范围的时候程序就会报错
Sever:
import socket
import struct
sk = socket.socket()
sk.bind(('127.0.0.1',8080))
sk.listen()
conn,addr = sk.accept() while True:
cmd = input('<<<')
if cmd == 'q':
conn.send(b'q')
break
conn.send(cmd.encode('gbk'))
num = conn.recv(4)
num = struct.unpack('i',num)[0]
res = conn.recv(int(num)).decode('gbk')
print(res) conn.close()
sk.close()
Client:
import socket
import subprocess
import struct sk = socket.socket()
sk.connect(('127.0.0.1',8080))
while True:
cmd = sk.recv(1024).decode('gbk')
if cmd == 'q':
break
res = subprocess.Popen(cmd,shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
std_out = res.stdout.read()
std_err = res.stderr.read()
len_num = len(std_out) + len(std_err)
num_by = struct.pack('i',len_num)
print('Stdout:' + std_out.decode('gbk'))
print('Stderr:' + std_err.decode('gbk'))
sk.send(num_by)
sk.send(std_out)
sk.send(std_err) sk.close()
执行结果:
<<<dir
驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 2019/09/17 16:25 <DIR> .
2019/09/17 16:25 <DIR> ..
2019/09/17 16:23 <DIR> .idea
2019/09/17 16:25 659 Client1.py
2019/09/16 13:42 0 Client2.py
2019/09/17 16:22 400 Sever1.py
2019/09/17 16:08 288 time_test.py
2019/09/14 23:51 <DIR> venv
4 个文件 1,347 字节
4 个目录 45,025,951,744 可用字节 <<<configip
'configip' 不是内部或外部命令，也不是可运行的程序
或批处理文件。 <<<ipconfig Windows IP 配置 以太网适配器 Bluetooth 网络连接 2: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 以太网适配器 本地连接: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 无线局域网适配器 无线网络连接: 连接特定的 DNS 后缀 . . . . . . . :
本地链接 IPv6 地址. . . . . . . . : fe80::8c6:36a9:6fa6:8018%14
IPv4 地址 . . . . . . . . . . . . : 192.168.43.216
子网掩码 . . . . . . . . . . . . : 255.255.255.0
默认网关. . . . . . . . . . . . . : 192.168.43.1 隧道适配器 本地连接* 3: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : <<<
Sever执行结果
Stdout: 驱动器 C 中的卷是 系统
卷的序列号是 85C0-669A C:\Users\Administrator\PycharmProjects\Internet_program 的目录 2019/09/17 16:25 <DIR> .
2019/09/17 16:25 <DIR> ..
2019/09/17 16:23 <DIR> .idea
2019/09/17 16:25 659 Client1.py
2019/09/16 13:42 0 Client2.py
2019/09/17 16:22 400 Sever1.py
2019/09/17 16:08 288 time_test.py
2019/09/14 23:51 <DIR> venv
4 个文件 1,347 字节
4 个目录 45,025,951,744 可用字节 Stderr:
Stdout:
Stderr:'configip' 不是内部或外部命令，也不是可运行的程序
或批处理文件。 Stdout:
Windows IP 配置 以太网适配器 Bluetooth 网络连接 2: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 以太网适配器 本地连接: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : 无线局域网适配器 无线网络连接: 连接特定的 DNS 后缀 . . . . . . . :
本地链接 IPv6 地址. . . . . . . . : fe80::8c6:36a9:6fa6:8018%14
IPv4 地址 . . . . . . . . . . . . : 192.168.43.216
子网掩码 . . . . . . . . . . . . : 255.255.255.0
默认网关. . . . . . . . . . . . . : 192.168.43.1 隧道适配器 本地连接* 3: 媒体状态 . . . . . . . . . . . . : 媒体已断开
连接特定的 DNS 后缀 . . . . . . . : Stderr:
Client执行结果
实现一个大文件的传输和下载
当我们在网络上传输所有数据时,这些数据都叫数据包,数据包里的所有数据都叫报文,报文里不止有你的数据还有IP地址、MAC地址、端口号等,所有的报文都有报头,这是由协议规定的。所有在网络上传播数据包的协议里都有一个报头。什么时候需要自己定制报文?比如说复杂的应用上就会应用到、传输文件的时候(文件名、文件大小、文件类型、存储路径等)...
其实在网络传输的过程当中处处有协议,协议就是一堆报头和报文(都由字节组成)。
Sever:
import socket
import struct
import json
buffer = 1024
sk = socket.socket()
sk.bind(('127.0.0.1',8080))
sk.listen() conn,addr = sk.accept() head_len = conn.recv(4)
struct.unpack('i',head_len)[0]
json_head = conn.recv(head_len).decode('utf-8')
head = json.loads(json_head)
file_size = head['fileSize'] with open(r'dir\%s'%head['fileName'],'wb') as f:
while file_size:
if file_size >= buffer:
content = conn.recv(buffer)
f.write(content)
file_size -= buffer
else:
content = conn.recv(buffer)
f.write(content)
break
conn.close()
sk.close()
Client:
import socket
import struct
import os
import json sk = socket.socket()
sk.connect(('127.0.0.1',8080))
buffer = 1024
head = {'filePath' : r'C:\Users\Administrator\Desktop\专题\海報資料夾\专题海报',
'fileName' : r'专题海报',
'fileSize' : None}
file_path = os.path.join(head['filePath'],head['fileName'])
file_size = os.path.getsize(file_path) head['fileSize'] = file_size
json_head = json.dumps(head) #字典转成字典
bytes_head = json_head.encode('utf-8') #字符串转bytes head_len = len(bytes_head) #报头的长度
pack_len = struct.pack('i',head_len) sk.send(pack_len) #先发报头的长度
sk.send(bytes_head) #再发bytes类型的报头
with open(r'dir\%s'%file_path,'rb') as f:
while file_size:
if file_size >= buffer:
content = f.read(buffer) # 每次文件读出的内容
sk.send(content)
file_size -= buffer
else:
content = f.read(file_size)
sk.send(content)
break
sk.close()