1. json简介
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，用于在不同应用程序之间传递数据。它是一种文本格式，易于阅读和编写，同时也易于解析和生成。JSON最初是由Douglas Crockford于2001年提出的，它基于JavaScript对象字面量语法，但已经成为一种独立于编程语言的数据格式。
乍一看json对象和python中的字典长得差不多，但前者是一种数据格式，而后者是一种数据结构。
具体来讲，json对象由一个大括号 {} 组成，大括号里保存的是若干个key-value对，其中key必须是字符串，且必须由双引号括起来（python的字典可以是单引号）。value可以是字符串，数值（整数/浮点数），布尔值，null，数组，json对象。key和value使用冒号 : 进行分隔，每个key-value对使用逗号 , 进行分隔。
json对象通常存储在以 .json 为扩展名的文本文件中，一个可能的例子：
{
"k1": "a",
"k2": 1,
"k3": 1.1,
"k4": true,
"k5": false,
"k6": null,
"k7": [
1,
1.1,
false,
"b"
],
"k8": {
"c": 2,
"d": 3
}
}
以上列出了value所有可能的数据类型。当然，json文件中可以包含多个json对象，通常由一个大列表括起来，每个json对象间用逗号分隔：
[
{
"k1": 1,
"k2": 2
},
{
"k3": 3,
"k4": 4
}
]
事实上，json文件能存储的有：
- 单个简单值：例如数值，字符串，布尔值，null。
- 单个数组：数组的内容可以是简单值，其他数组以及json对象。
- 单个json对象：包含一系列key-value对。
对于数组和json对象，其中的最后一个元素后面不能有逗号。
json 库是python的标准库，它主要有四个函数：dump、dumps、load、loads，接下来也只讲解这四个函数。
2. dumps/loads
dumps用于将一个python对象转化成json格式的字符串，其中python对象必须是json可序列化的，即上面提到的三种。dumps这一过程又被称为序列化。
不严谨地来讲，dumps的函数签名如下：
def dumps(obj: Union[None, int, float, str, bool, list, dict], *args) -> str:
pass
一些示例：
print(json.dumps(None))
# null
print(json.dumps(1))
# 1
print(json.dumps(3.3))
# 3.3
print(json.dumps("abc"))
# "abc"
print(json.dumps([1, 2, 3, 4]))
# [1, 2, 3, 4]
print(json.dumps({"a": 1, "b": 2}))
# {"a": 1, "b": 2}
loads的作用与dumps相反，loads过程又被称为反序列化，即将一个json格式的字符串转化为相应的python对象。
不严谨地来讲，loads的函数签名如下：
def loads(s: str, *args) -> Union[None, int, float, str, bool, list, dict]:
pass
一些示例：
print(json.loads("null"))
# None
print(json.loads("1"))
# 1
print(json.loads("3.3"))
# 3.3
print(json.loads("\"abc\""))
# abc
print(json.loads("[1, 2, 3, 4]"))
# [1, 2, 3, 4]
print(json.loads("{\"a\": 1, \"b\": 2}"))
# {'a': 1, 'b': 2}
在使用dumps时有一个小细节，如下：
print(json.dumps("abc你好"))
# "abc\u4f60\u597d"
默认情况下，所有非 ASCII 字符（即那些无法用标准 ASCII 表示的字符）都被转义为 Unicode 转义序列。这样做的目的是为了确保生成的 JSON 字符串是 ASCII 编码的，因为一些旧系统或处理 JSON 数据的应用程序可能不支持非 ASCII 字符。
如果要防止对非ASCII字符进行转义，可以设置 ensure_ascii = False，如下：
print(json.dumps("abc你好", ensure_ascii=False))
# "abc你好"
3. dump/load
dump用于将一个python对象（需要是json可序列化的）保存到相应的json文件中，dump没有返回值。
with open('1.json', 'w') as f:
json.dump([1, 2, 3], f)
load用于从一个json文件中读取并转化为相应的python对象：
with open('1.json') as f:
print(json.load(f))
# [1, 2, 3]
4. jsonl格式
JSONL（JSON Lines）中的每一行都是一个json对象，如下：
{"name": "John", "age": 30, "city": "New York"}
{"name": "Alice", "age": 25, "city": "Los Angeles"}
{"name": "Bob", "age": 35, "city": "Chicago"}
JSONL 更适合处理大型数据集，特别是日志文件和行格式数据。它可以逐行处理，而不需要一次性加载整个文件到内存中。这使得它在处理大型数据文件时更具效率。
使用json库对jsonl文件进行读写：
# 读取
with open('1.jsonl') as r:
for line in r:
print(json.loads(line))
# 写入
content = ... # 预定义
with open('1.jsonl', 'w') as w:
for line in content:
w.write(json.dumps(line, ensure_ascii=False) + '\n')
使用 jsonlines 库，我们可以更高效的处理jsonl文件：
import jsonlines
# 读取
with jsonlines.open('1.jsonl') as r:
for line in r:
print(type(line), line)
# <class 'dict'> {'name': 'John', 'age': 30, 'city': 'New York'}
# <class 'dict'> {'name': 'Alice', 'age': 25, 'city': 'Los Angeles'}
# <class 'dict'> {'name': 'Bob', 'age': 35, 'city': 'Chicago'}
# 写入
dic = {"a": 1, "b": 2}
with jsonlines.open('1.jsonl', 'w') as w:
w.write(dic) # 会自动加换行符
# 写入多个
dic = [{"a": 1, "b": 2}, {"c": 3, "d": 4}]
with jsonlines.open('1.jsonl', 'w') as w:
w.write_all(dic)
可以看到我们能够直接对 dict 对象进行操作，而不需要进行 dict <-> str 的转化。