AI专业者开发社区 1 号成员
  •  0 回帖  •  7 浏览  •  5 个月前
 

python 文件读写操作

读文件

打开一个文件用 open()方法 (open() 返回一个文件对象，它是可迭代的)：

>>> f = open('test.txt', 'r')

r 表示是文本文件，rb 是二进制文件。（这个 mode 参数默认值就是 r）

如果文件不存在，open()函数就会抛出一个IOError的错误，并且给出错误码和详细的信息告诉你文件不存在：

>>> f=open('test.txt', 'r')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'

文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的

>>> f.close()

由于文件读写时都有可能产生IOError，一旦出错，后面的f.close()就不会调用。所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally来实现：

复制代码
try:
    f = open('/path/to/file', 'r')
    print(f.read())
finally:
    if f:
        f.close()
复制代码

但是每次都这么写实在太繁琐，所以，Python 引入了with语句来自动帮我们调用close()方法：

with open('/path/to/file', 'r') as f:
    print(f.read())

python 文件对象提供了三个“读”方法： read()、readline() 和 readlines()。每种方法可以接受一个变量以限制每次读取的数据量。

  • read() 每次读取整个文件，它通常用于将文件内容放到一个字符串变量中。如果文件大于可用内存，为了保险起见，可以反复调用read(size)方法，每次最多读取 size 个字节的内容。
  • readlines()之间的差异是后者一次读取整个文件，象 .read() 一样。.readlines() 自动将文件内容分析成一个行的列表，该列表可以由 Python 的 for ... in ... 结构进行处理。
  • readline()每次只读取一行，通常比 readlines() 慢得多。仅当没有足够内存可以一次读取整个文件时，才应该使用 readline()。

注意：这三种方法是把每行末尾的 '\n' 也读进来了，它并不会默认的把 '\n' 去掉，需要我们手动去掉。

In[2]: with open('test1.txt', 'r') as f1:
    list1 = f1.readlines()In[3]: list1
Out[3]: ['111\n', '222\n', '333\n', '444\n', '555\n', '666\n']

去掉 '\n'

复制代码
In[4]: with open('test1.txt', 'r') as f1:
    list1 = f1.readlines()for i in range(0, len(list1)):
    list1[i] = list1[i].rstrip('\n')
In[5]: list1
Out[5]: ['111', '222', '333', '444', '555', '666']
复制代码

对于 read()和 readline() 也是把 '\n' 读入了，但是 print 的时候可以正常显示（因为 print 里的 '\n' 被认为是换行的意思）

复制代码
In[7]: with open('test1.txt', 'r') as f1:
    list1 = f1.read()In[8]: list1
Out[8]: '111\n222\n333\n444\n555\n666\n'
In[9]: print(list1)
111
222
333
444
555
666

In[10]: with open('test1.txt', 'r') as f1:
list1 = f1.readline()
In[11]: list1
Out[11]: '111\n'
In[12]: print(list1)
111

复制代码

一个 python 面试题的例子：

有两个文件，每个都有很多行 ip 地址，求出两个文件中相同的 ip 地址：

复制代码
# coding:utf-8
import bisect
with open('test1.txt', 'r') as f1:
list1 = f1.readlines()
for i in range(0, len(list1)):
list1[i] = list1[i].strip('\n')
with open('test2.txt', 'r') as f2:
list2 = f2.readlines()
for i in range(0, len(list2)):
list2[i] = list2[i].strip('\n')
list2.sort()
length_2 = len(list2)
same_data = []
for i in list1:
pos = bisect.bisect_left(list2, i)
if pos < len(list2) and list2[pos] == i:
same_data.append(i)
same_data = list(set(same_data))
print(same_data)
复制代码

要点就是：（1）用 with （2）处理行末的 '\n' （3）使用二分查找提高算法效率。（4）使用 set 快速去重。

 

写文件

写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件：

>>> f = open('test.txt', 'w') # 若是 'wb' 就表示写二进制文件
>>> f.write('Hello, world!')
>>> f.close()

注意：'w' 这个模式是酱紫：如果没有这个文件，就创建一个；如果有，那么就会先把原文件的内容清空再写入新的东西。所以若不想清空原来的内容而是直接在后面追加新的内容，就用 'a' 这个模式。

我们可以反复调用write()来写入文件，但是务必要调用f.close()来关闭文件。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用with语句来得保险：

with open('test.txt', 'w') as f:
    f.write('Hello, world!')

python 文件对象提供了两个“写”方法： write() 和 writelines()。

  • write()方法和 read()、readline() 方法对应，是将字符串写入到文件中。
  • writelines()方法和 readlines() 方法对应，也是针对列表的操作。它接收一个字符串列表作为参数，将他们写入到文件中，换行符不会自动的加入，因此，需要显式的加入换行符。
复制代码
f1 = open('test1.txt', 'w')
f1.writelines(["1", "2", "3"])
#    此时 test1.txt 的内容为:123

f1 = open('test1.txt', 'w')
f1.writelines(["1\n", "2\n", "3\n"])


此时 test1.txt 的内容为:


1


2


3
复制代码

 

关于 open() 的 mode 参数：

'r'：读

'w'：写

'a'：追加

'r+' == r+w（可读可写，文件若不存在就报错 (IOError)）

'w+' == w+r（可读可写，文件若不存在就创建）

'a+' ==a+r（可追加可写，文件若不存在就创建）

对应的，如果是二进制文件，就都加一个 b 就好啦：

'rb'　　'wb'　　'ab'　　'rb+'　　'wb+'　　'ab+'

 

JSON

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。JSON 的数据格式其实就是 python 里面的字典格式，里面可以包含方括号括起来的数组，也就是 python 里面的列表。

在 python 中，有专门处理 json 格式的模块—— json 和 picle 模块

  Json   模块提供了四个方法： dumps、dump、loads、load

pickle 模块也提供了四个功能：dumps、dump、loads、load
 
一. dumps 和 dump:
 dumps 和 dump   序列化方法
       dumps 只完成了序列化为 str，
       dump 必须传文件描述符，将序列化的 str 保存到文件中
 
查看源码：
def dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True,
        allow_nan=True, cls=None, indent=None, separators=None,
        default=None, sort_keys=False, **kw):
    # Serialize ``obj`` to a JSON formatted ``str``.
    # 序列号 “obj” 数据类型 转换为 JSON 格式的字符串 
def dump(obj, fp, skipkeys=False, ensure_ascii=True, check_circular=True,
        allow_nan=True, cls=None, indent=None, separators=None,
        default=None, sort_keys=False, **kw):
    """Serialize ``obj`` as a JSON formatted stream to ``fp`` (a
    ``.write()``-supporting file-like object).
     我理解为两个动作，一个动作是将”obj“转换为 JSON 格式的字符串，还有一个动作是将字符串写入到文件中，也就是说文件描述符 fp 是必须要的参数 """

 

示例代码：

复制代码
>>> import json
>>> json.dumps([])    # dumps 可以格式化所有的基本数据类型为字符串
'[]'
>>> json.dumps(1)    # 数字
'1'
>>> json.dumps('1')   # 字符串
'"1"'>>> dict = {"name":"Tom","age":23}  
>>> json.dumps(dict)     # 字典
'{"name":"Tom","age": 23}'
复制代码
a = {"name":"Tom", "age":23}
with open("test.json", "w", encoding='utf-8') as f:
    # indent 超级好用，格式化保存字典，默认为 None，小于 0 为零个空格
    f.write(json.dumps(a, indent=4))
    # json.dump(a,f,indent=4)   # 和上面的效果一样

保存的文件效果：

 

二. loads 和 load 

loads 和 load  反序列化方法

       loads 只完成了反序列化，
       load 只接收文件描述符，完成了读取文件和反序列化

 

 查看源码：

def loads(s, encoding=None, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw):
    """Deserialize ``s`` (a ``str`` instance containing a JSON document) to a Python object.
       将包含 str 类型的 JSON 文档反序列化为一个 python 对象 """
def load(fp, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw):
    """Deserialize ``fp`` (a ``.read()``-supporting file-like object containing a JSON document) to a Python object.
        将一个包含 JSON 格式数据的可读文件饭序列化为一个 python 对象 """

 

实例：

>>> json.loads('{"name":"Tom","age":23}'){'age': 23, 'name': 'Tom'}
复制代码
import json
with open("test.json", "r", encoding='utf-8') as f:
    aa = json.loads(f.read())
    f.seek(0)
    bb = json.load(f)    # 与 json.loads(f.read())
print(aa)
print(bb)

输出：


{'name': 'Tom', 'age': 23}
{'name': 'Tom', 'age': 23}

复制代码

三. json 和 picle 模块

 json 模块和 picle 模块都有  dumps、dump、loads、load 四种方法，而且用法一样。

不用的是 json 模块序列化出来的是通用格式，其它编程语言都认识，就是普通的字符串，

而 picle 模块序列化出来的只有 python 可以认识，其他编程语言不认识的，表现为乱码

不过 picle 可以序列化函数，但是其他文件想用该函数，在该文件中需要有该文件的定义（定义和参数必须相同，内容可以不同）

四. python 对象（obj） 与 json 对象的对应关系

复制代码
    +-------------------+---------------+
    | Python            | JSON          |
    +===================+===============+
    | dict              | object        |
    +-------------------+---------------+
    | list, tuple       | array         |
    +-------------------+---------------+
    | str               | string        |
    +-------------------+---------------+
    | int, float        | number        |
    +-------------------+---------------+
    | True              | true          |
    +-------------------+---------------+
    | False             | false         |
    +-------------------+---------------+
    | None              | null          |
    +-------------------+---------------+
复制代码

 

 五. 总结

 1. json 序列化方法：

          dumps：无文件操作            dump：序列化 + 写入文件

  2. json 反序列化方法：

          loads：无文件操作              load： 读文件 + 反序列化

  3. json 模块序列化的数据 更通用

      picle 模块序列化的数据 仅 python 可用，但功能强大，可以序列号函数

  4. json 模块可以序列化和反序列化的  数据类型 见  python 对象（obj） 与 json 对象的对应关系表

  5. 格式化写入文件利用  indent = 4 

OS.PATH

split

分割目录名，返回由其目录名和基名给成的元组
Split a pathname.  Returns tuple "(head, tail)" where "tail" is
everything after the final slash.  Either part may be empty.
>>> os.path.split("/tmp/f1.txt")
('/tmp', 'f1.txt')
>>> os.path.split("/home/test.sh")
('/home', 'test.sh')

splitext

分割文件名，返回由文件名和扩展名组成的元组
Split the extension from a pathname.
Extension is everything from the last dot to the end, ignoring
leading dots.  Returns "(root, ext)"; ext may be empty.
>>> os.path.splitext("/home/test.sh")
('/home/test', '.sh')
>>> os.path.splitext("/tmp/f1.txt")
('/tmp/f1', 
'.txt')


# 对文件重命名:
>>> os.rename('test.txt', 'test.py')
# 删掉文件:
>>> os.remove('test.py')
# 查看当前目录的绝对路径:
>>> os.path.abspath('.')
'/Users/michael'
# 在某个目录下创建一个新目录，首先把新目录的完整路径表示出来:
>>> os.path.join('/Users/michael', 'testdir')
'/Users/michael/testdir'
# 然后创建一个目录:
>>> os.mkdir('/Users/michael/testdir')
# 删掉一个目录:
>>> os.rmdir('/Users/michael/testdir')