04_Other-使用 Python ftplib 模块同步又拍云云存储数据至本地

1. 前言

在 jsd 失效之后，博主将图床资源从 github 迁移至又拍云云存储上

qiniuClient 是我所知的 云存储管理客户端，有需要的朋友可以下载使用

目前的图床方案是写文章时利用 picgo 上传图片，再通过 Python 脚本同步又拍云上的图片至本地，再将本地图片 push 到 github，通过云服务器（CentOS）计划任务 每天凌晨 1 点执行以上备份操作

2. 脚本内容

源码来自：https://blog.csdn.net/ouyang_peng/article/details/79271113

又拍云官方教程：创建存储服务和使用 FTP 上传

说明：

脚本执行顺序是先下载云存储资源至本地，再将本地资源上传至云存储，所以云存储上的资源优先级更大，当本地出现同名资源时 会被覆盖

根据自身情况修改 273、274 行 路线、操作员 / 服务名、token（参考 创建存储服务和使用 FTP 上传），和 290~297 行本地、云存储的资源路径

Copy
#!/usr/bin/python
# -*- coding: UTF-8 -*-

from cmath import log
from ftplib import FTP
import os
import sys
import time
import socket
import subprocess

class MyFTP:
"""
ftp自动下载、自动上传脚本，可以递归目录操作
作者：欧阳鹏
博客地址：http://blog.csdn.net/ouyang_peng/article/details/79271113
"""

def __init__(self, host, port=21):
""" 初始化 FTP 客户端
参数:
host:ip地址

port:端口号
"""
# print("__init__()---> host = %s ,port = %s" % (host, port))

self.host = host
self.port = port
self.ftp = FTP()
# 重新设置下编码方式
#self.ftp.encoding = 'gbk'
self.ftp.encoding = 'utf8'
# 获取脚本路径
path = os.path.dirname(os.path.realpath(__file__))
self.log_file = open(path + "/log.txt", "a", encoding='utf-8')
self.file_list = []

def login(self, username, password):
""" 初始化 FTP 客户端
参数:
username: 用户名

password: 密码
"""
try:
timeout = 60
socket.setdefaulttimeout(timeout)
# 0主动模式 1 #被动模式
self.ftp.set_pasv(True)
# 打开调试级别2，显示详细信息
# self.ftp.set_debuglevel(2)

self.debug_print('开始尝试连接到 %s' % self.host)
self.ftp.connect(self.host, self.port)
self.debug_print('成功连接到 %s' % self.host)

self.debug_print('开始尝试登录到 %s' % self.host)
self.ftp.login(username, password)
self.debug_print('成功登录到 %s' % self.host)

self.debug_print(self.ftp.welcome)
except Exception as err:
self.deal_error("FTP 连接或登录失败 ，错误描述为：%s" % err)
pass

def is_same_size(self, local_file, remote_file):
"""判断远程文件和本地文件大小是否一致

参数:
local_file: 本地文件

remote_file: 远程文件
"""
try:
remote_file_size = self.ftp.size(remote_file)
except Exception as err:
# self.debug_print("is_same_size() 错误描述为：%s" % err)
remote_file_size = -1

try:
local_file_size = os.path.getsize(local_file)
except Exception as err:
# self.debug_print("is_same_size() 错误描述为：%s" % err)
local_file_size = -1

self.debug_print('local_file_size:%d , remote_file_size:%d' % (local_file_size, remote_file_size))
if remote_file_size == local_file_size:
return 1
else:
return 0

def download_file(self, local_file, remote_file):
"""从ftp下载文件
参数:
local_file: 本地文件

remote_file: 远程文件
"""
self.debug_print("download_file()---> local_path = %s ,remote_path = %s" % (local_file, remote_file))

if self.is_same_size(local_file, remote_file):
self.debug_print('%s 文件大小相同，无需下载' % local_file)
return
else:
try:
self.debug_print('>>>>>>>>>>>>下载文件 %s ... ...' % local_file)
buf_size = 1024
file_handler = open(local_file, 'wb')
self.ftp.retrbinary('RETR %s' % remote_file, file_handler.write, buf_size)
file_handler.close()
except Exception as err:
self.debug_print('下载文件出错，出现异常：%s ' % err)
return

def download_file_tree(self, local_path, remote_path):
"""从远程目录下载多个文件到本地目录
参数:
local_path: 本地路径

remote_path: 远程路径
"""
print("download_file_tree()---> local_path = %s ,remote_path = %s" % (local_path, remote_path))
try:
self.ftp.cwd(remote_path)
except Exception as err:
self.debug_print('远程目录%s不存在，继续...' % remote_path + " ,具体错误描述为：%s" % err)
return

if not os.path.isdir(local_path):
self.debug_print('本地目录%s不存在，先创建本地目录' % local_path)
os.makedirs(local_path)

self.debug_print('切换至目录: %s' % self.ftp.pwd())

self.file_list = []
# 方法回调
self.ftp.dir(self.get_file_list)

remote_names = self.file_list
self.debug_print('远程目录 列表: %s' % remote_names)
for item in remote_names:
file_type = item[0]
file_name = item[1]
local = os.path.join(local_path, file_name)
if file_type == 'd':
print("download_file_tree()---> 下载目录： %s" % file_name)
self.download_file_tree(local, file_name)
elif file_type == '-':
print("download_file()---> 下载文件： %s" % file_name)
self.download_file(local, file_name)
self.ftp.cwd("..")
self.debug_print('返回上层目录 %s' % self.ftp.pwd())
return True

def upload_file(self, local_file, remote_file):
"""从本地上传文件到ftp

参数:
local_path: 本地文件

remote_path: 远程文件
"""
if not os.path.isfile(local_file):
self.debug_print('%s 不存在' % local_file)
return

if self.is_same_size(local_file, remote_file):
self.debug_print('跳过相等的文件: %s' % local_file)
return

buf_size = 1024
file_handler = open(local_file, 'rb')
self.ftp.storbinary('STOR %s' % remote_file, file_handler, buf_size)
file_handler.close()
self.debug_print('上传: %s' % local_file + "成功!")

def upload_file_tree(self, local_path, remote_path):
"""从本地上传目录下多个文件到ftp
参数:

local_path: 本地路径

remote_path: 远程路径
"""
if not os.path.isdir(local_path):
self.debug_print('本地目录 %s 不存在' % local_path)
return

self.ftp.cwd(remote_path)
self.debug_print('切换至远程目录: %s' % self.ftp.pwd())

local_name_list = os.listdir(local_path)
for local_name in local_name_list:
src = os.path.join(local_path, local_name)
if os.path.isdir(src):
try:
self.ftp.mkd(local_name)
except Exception as err:
self.debug_print("目录已存在 %s ,具体错误描述为：%s" % (local_name, err))
self.debug_print("upload_file_tree()---> 上传目录： %s" % local_name)
self.upload_file_tree(src, local_name)
else:
self.debug_print("upload_file_tree()---> 上传文件： %s" % local_name)
self.upload_file(src, local_name)
self.ftp.cwd("..")

def close(self):
""" 退出ftp
"""
self.debug_print("close()---> FTP退出")
self.ftp.quit()
self.log_file.close()

def debug_print(self, s):
""" 打印日志
"""
self.write_log(s)

def deal_error(self, e):
""" 处理错误异常
参数：
e：异常
"""
log_str = '发生错误: %s' % e
self.write_log(log_str)
sys.exit()

def write_log(self, log_str):
""" 记录日志
参数：
log_str：日志
"""
time_now = time.localtime()
date_now = time.strftime('%Y-%m-%d', time_now)
format_log_str = "%s ---> %s \n " % (date_now, log_str)
print(format_log_str)
self.log_file.write(format_log_str)

def get_file_list(self, line):
""" 获取文件列表
参数：
line：
"""
file_arr = self.get_file_name(line)
# 去除 . 和 ..
if file_arr[1] not in ['.', '..']:
self.file_list.append(file_arr)

def get_file_name(self, line):
""" 获取文件名
参数：
line：
"""
pos = line.rfind(':')
while (line[pos] != ' '):
pos += 1
while (line[pos] == ' '):
pos += 1
file_arr = [line[0], line[pos:]]
return file_arr

if __name__ == "__main__":
# 清除日志
path = os.path.dirname(os.path.realpath(__file__)) # 脚本路径
if os.path.exists(path + '/log.txt'):
log_file = path + '/log.txt 'if os.sep == "/" else path + '\\' + 'log.txt'
subprocess.Popen(f'rm -rf {log_file}', shell=True)
time.sleep(1)

my_ftp = MyFTP("v0.ftp.upyun.com")
my_ftp.login("xxx/xxx", "tokenxxxxxxxxx")

# 下载单个文件
# my_ftp.download_file("E:/code_zone/image_bed/image/wallpaper/1.jpg", "/image/wallpaper/1.jpg")

# 上传单个文件
# my_ftp.upload_file("G:/ftp_test/Release/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")

# 下载目录
# image.cpen.top/image/ → 本地 E:/code_zone/image_bed/image/ (本地图床目录, 又拍云路径)
if os.sep == "\\":
my_ftp.download_file_tree("E:/code_zone/image_bed/image/", "/image/")
elif os.sep == "/": # aliyun
my_ftp.download_file_tree("/root/code_zone/image_bed/image/", "/image/")

# 上传目录
# 本地 E:/code_zone/image_bed/image/ → image.cpen.top/image/ (本地图床目录, 又拍云路径)
if os.sep == "\\": # Windows
my_ftp.upload_file_tree("E:/code_zone/image_bed/image/", "/image/")
my_ftp.close()
elif os.sep == "/": # aliyun
my_ftp.upload_file_tree("/root/code_zone/image_bed/image/", "/image/")
my_ftp.close()

# 命令
# python E:/code_zone/tools/python-ftp/ftp.py
# python3 /root/code_zone/tools/python-ftp/ftp.py

执行命令

Copy
# Windows 终端
python E:/code_zone/tools/python-ftp/ftp.py

# 类 Unix 终端
python3 /root/code_zone/tools/python-ftp/ftp.py

3. 参考文章

源码来自：Python 实现的 FTP 上传和下载功能

又拍云官方教程：创建存储服务和使用 FTP 上传