用Python编写一个简单的FUSE文件系统的教程

脚本专栏 2024/12/27 佚名

3 2 1

如果你是我的长期读者，那么你应该知道我在寻找一个完美备份程序，最后我写了一个基于bup的我自己的加密层。

在写encbup的时候，我对仅仅恢复一个文件就必须要下载整个巨大的档案文件的做法不甚满意，但仍然希望能将EncFS和 rdiff-backup一起使用来实现可远程挂载、加密、去重、版本化备份的功能。

再次试用obnam 后(啰嗦一句：它还是慢的出奇)，我注意到了它有一个mount命令。深入研究后，我发现了fuse-python和fusepy，感觉用Python写一个FUSE文件系统应该挺简单的。

聪明的读者可能已经意识到了我接下来要做的事情：我决定用Python写一个加密文件系统层！它与EncFS会非常相似，但也有一些重要的区别：

它默认以反向模式运行，接收正常的文件并且暴露一个被加密的目录。任何备份程序会发现（并且备份）这些加密的目录，不需要任何其它的存储。
它也能接受由一个目录列表组成的配置文件，并且在挂载点将这些目录暴露出来。这样的话，所有的备份脚本就需要将挂载点备份，各种不同的目录会立刻得以备份。
它会更偏重于备份，而不是加密存储。写起来应该会挺有意思的。

一个FUSE文件系统示例

写这个脚本的第一步是写出一个纯粹的传递式的文件系统。它仅仅是接受一个目录，并在挂载点将其暴露出来，确保任何在挂载点的修改都会镜像到源数据中。

fusepy 要求你写一个类，里面定义了各种操作系统级别的方法。你可以选择定义那些你的文件系统想要支持的方法，其他的可以暂时不予定义，但是我需要定义全部的方法，因为我的文件系统是一个传递式的文件系统，它应该表现的与原有的文件系统尽可能一致。

写这段代码会非常简单有趣，因为大部分的方法只是对os模块的一些简单封装（确实，你可以直接给它们赋值，比如 open=os.open 等等，但是我的模块需要一些路径扩展）。不幸的是，fuse-python有一个bug（据我所知）是当打开和读文件的时候，它无法将文件句柄回传给文件系统。因而我的脚本不知道某个应用执行读写操作时对应的是哪个文件句柄，从而导致了失败。只需要对fusepy做极少的改动，它就可以很好地运行。它只有一个文件，所以你可以把它直接放到你的工程里。
代码

在这里，我很乐意给出这段代码，当你打算自己实现文件系统的时候可以拿来参考。这段代码提供了一个很好的起点，你可以直接把这个类复制到你的工程中并且根据需要重写里面的一些方法。

接下来是真正的代码了：

#!/usr/bin/env python
 
from __future__ import with_statement
 
import os
import sys
import errno
 
from fuse import FUSE, FuseOSError, Operations
 
class Passthrough(Operations):
  def __init__(self, root):
    self.root = root
 
  # Helpers
  # =======
 
  def _full_path(self, partial):
    if partial.startswith("/"):
      partial = partial[1:]
    path = os.path.join(self.root, partial)
    return path
 
  # Filesystem methods
  # ==================
 
  def access(self, path, mode):
    full_path = self._full_path(path)
    if not os.access(full_path, mode):
      raise FuseOSError(errno.EACCES)
 
  def chmod(self, path, mode):
    full_path = self._full_path(path)
    return os.chmod(full_path, mode)
 
  def chown(self, path, uid, gid):
    full_path = self._full_path(path)
    return os.chown(full_path, uid, gid)
 
  def getattr(self, path, fh=None):
    full_path = self._full_path(path)
    st = os.lstat(full_path)
    return dict((key, getattr(st, key)) for key in ('st_atime', 'st_ctime',
           'st_gid', 'st_mode', 'st_mtime', 'st_nlink', 'st_size', 'st_uid'))
 
  def readdir(self, path, fh):
    full_path = self._full_path(path)
 
    dirents = ['.', '..']
    if os.path.isdir(full_path):
      dirents.extend(os.listdir(full_path))
    for r in dirents:
      yield r
 
  def readlink(self, path):
    pathname = os.readlink(self._full_path(path))
    if pathname.startswith("/"):
      # Path name is absolute, sanitize it.
      return os.path.relpath(pathname, self.root)
    else:
      return pathname
 
  def mknod(self, path, mode, dev):
    return os.mknod(self._full_path(path), mode, dev)
 
  def rmdir(self, path):
    full_path = self._full_path(path)
    return os.rmdir(full_path)
 
  def mkdir(self, path, mode):
    return os.mkdir(self._full_path(path), mode)
 
  def statfs(self, path):
    full_path = self._full_path(path)
    stv = os.statvfs(full_path)
    return dict((key, getattr(stv, key)) for key in ('f_bavail', 'f_bfree',
      'f_blocks', 'f_bsize', 'f_favail', 'f_ffree', 'f_files', 'f_flag',
      'f_frsize', 'f_namemax'))
 
  def unlink(self, path):
    return os.unlink(self._full_path(path))
 
  def symlink(self, target, name):
    return os.symlink(self._full_path(target), self._full_path(name))
 
  def rename(self, old, new):
    return os.rename(self._full_path(old), self._full_path(new))
 
  def link(self, target, name):
    return os.link(self._full_path(target), self._full_path(name))
 
  def utimens(self, path, times=None):
    return os.utime(self._full_path(path), times)
 
  # File methods
  # ============
 
  def open(self, path, flags):
    full_path = self._full_path(path)
    return os.open(full_path, flags)
 
  def create(self, path, mode, fi=None):
    full_path = self._full_path(path)
    return os.open(full_path, os.O_WRONLY | os.O_CREAT, mode)
 
  def read(self, path, length, offset, fh):
    os.lseek(fh, offset, os.SEEK_SET)
    return os.read(fh, length)
 
  def write(self, path, buf, offset, fh):
    os.lseek(fh, offset, os.SEEK_SET)
    return os.write(fh, buf)
 
  def truncate(self, path, length, fh=None):
    full_path = self._full_path(path)
    with open(full_path, 'r+') as f:
      f.truncate(length)
 
  def flush(self, path, fh):
    return os.fsync(fh)
 
  def release(self, path, fh):
    return os.close(fh)
 
  def fsync(self, path, fdatasync, fh):
    return self.flush(path, fh)
 
def main(mountpoint, root):
  FUSE(Passthrough(root), mountpoint, foreground=True)
 
if __name__ == '__main__':
  main(sys.argv[2], sys.argv[1])

如果你想要运行它，只需要安装fusepy，把这段代码放进一个文件（比如myfuse.py）然后运行 python myfuse.py /你的目录 /挂载点目录。你会发现 “/你的目录” 路径下的所有文件都跑到”/挂载点目录”，还能像用原生文件系统一样操作它们。
结语

总的来说，我并不认为写一个文件系统就这么简单。接下来要做的是在脚本里添加加密/解密的功能，以及一些帮助类的方法。我的目标是能让它除了有更好的扩展性（因为是用Python写的），以及包含一些针对备份文件的额外特性外，可以成为一个EncFS的完全替代品。

如果你想跟进这个脚本的开发过程，请在下面订阅我的邮件列表，或者在Twitter上关注我。一如既往的欢迎反馈（在下面评论就很好）。

Python,文件系统