前言#
使用 GitHub Acitons,定時跑 Python FTP 腳本,達到 又拍雲雲存儲 與 GitHub 倉庫間的備份
倉庫示例:https://github.com/mycpen/image_bed/tree/main/.github
個人示例#
1. 新增 Workflow YML 文件#
複製以下我的 yml 示例;或是按照 這篇文章,選擇想要的 workflow 模板,再自定義修改內容(Actions => New workflow = Choose a workflow)
我的文件路徑為 .github/workflows/python-app.yml
,內容如下:
# This workflow will install Python dependencies, run tests and lint with a single version of Python
# For more information see: https://docs.github.com/en/actions/automating-builds-and-tests/building-and-testing-python
name: Python application
on:
schedule:
- cron: "0 17 * * 5" # 星期六 1:00
workflow_dispatch:
jobs:
build:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- uses: szenius/set-timezone@v1.0 # 設置執行環境的時區
with:
timezoneLinux: "Asia/Shanghai"
- name: Set up Python 3.10
uses: actions/setup-python@v3
with:
python-version: "3.10"
- name: Run sync script
env:
UPYUNUSERNAME: ${{ secrets.UPYUNUSERNAME }}
UPYUNPASSWORD: ${{ secrets.UPYUNPASSWORD }}
run: |
git config --global user.name ${{ secrets.GITHUBUSERNAME }}
git config --global user.email ${{ secrets.GITHUBEMAIL }}
python .github/ftp.py
bash git.sh
參數解釋:
-
cron
:定義工作流的時間表(有延遲),為格林尼治時間(UTC),換算為北京時間需在該基礎上增加 8 小時,參考:Actions 中的 cron 格式和設置、Actions 時區及緩存問題處理 -
UPYUNUSERNAME
,UPYUNPASSWORD
,GITHUBUSERNAME
,GITHUBEMAIL
,為自定義的 Secrets 常量 -
ftp.py
:Python 腳本,使用 FTP 同步雲存儲與倉庫的文件內容 -
git.sh
:將本地變更推送至遠端的腳本,git add, git commit, git push 這類
2. 新增 Secrets 常量#
新增 4 個 Secrets 常量,UPYUNUSERNAME、UPYUNPASSWORD、GITHUBUSERNAME、GITHUBEMAIL,具體含義同上
3. 授予 Workflow 讀寫權限#
參考:https://blog.csdn.net/jj89929665/article/details/129817011
4. 新建 Python 同步腳本#
腳本內容來自:Python 實現的 FTP 上傳和下載功能
腳本最後的 if 語句中聲明了相關路徑和參數
我的腳本路徑為 .github/ftp.py
,作用是同步倉庫 image/ 目錄與又拍雲雲存儲 /image/ 目錄,內容如下:
#!/usr/bin/python
# -*- coding: UTF-8 -*-
from cmath import log
from ftplib import FTP
import os
import sys
import time
import socket
import subprocess
class MyFTP:
"""
ftp自動下載、自動上傳腳本,可以遞歸目錄操作
作者:歐陽鵬
博客地址:http://blog.csdn.net/ouyang_peng/article/details/79271113
"""
def __init__(self, host, port=21):
""" 初始化 FTP 客戶端
參數:
host:ip地址
port:端口號
"""
# print("__init__()---> host = %s ,port = %s" % (host, port))
self.host = host
self.port = port
self.ftp = FTP()
# 重新設置下編碼方式
#self.ftp.encoding = 'gbk'
self.ftp.encoding = 'utf8'
# 獲取腳本路徑
path = os.path.dirname(os.path.realpath(__file__))
# self.log_file = open(path + "/log.txt", "a", encoding='utf-8')
self.file_list = []
def login(self, username, password):
""" 初始化 FTP 客戶端
參數:
username: 用戶名
password: 密碼
"""
try:
timeout = 60
socket.setdefaulttimeout(timeout)
# 0主動模式 1 #被動模式
self.ftp.set_pasv(True)
# 打開調試級別2,顯示詳細信息
# self.ftp.set_debuglevel(2)
self.debug_print('開始嘗試連接到 %s' % self.host)
self.ftp.connect(self.host, self.port)
self.debug_print('成功連接到 %s' % self.host)
self.debug_print('開始嘗試登錄到 %s' % self.host)
self.ftp.login(username, password)
self.debug_print('成功登錄到 %s' % self.host)
self.debug_print(self.ftp.welcome)
except Exception as err:
self.deal_error("FTP 連接或登錄失敗 ,錯誤描述為:%s" % err)
pass
def is_same_size(self, local_file, remote_file):
"""判斷遠程文件和本地文件大小是否一致
參數:
local_file: 本地文件
remote_file: 遠程文件
"""
try:
remote_file_size = self.ftp.size(remote_file)
except Exception as err:
# self.debug_print("is_same_size() 錯誤描述為:%s" % err)
remote_file_size = -1
try:
local_file_size = os.path.getsize(local_file)
except Exception as err:
# self.debug_print("is_same_size() 錯誤描述為:%s" % err)
local_file_size = -1
self.debug_print('local_file_size:%d , remote_file_size:%d' % (local_file_size, remote_file_size))
if remote_file_size == local_file_size:
return 1
else:
return 0
def download_file(self, local_file, remote_file):
"""從ftp下載文件
參數:
local_file: 本地文件
remote_file: 遠程文件
"""
self.debug_print("download_file()---> local_path = %s ,remote_path = %s" % (local_file, remote_file))
if self.is_same_size(local_file, remote_file):
self.debug_print('%s 文件大小相同,無需下載' % local_file)
return
else:
try:
self.debug_print('>>>>>>>>>>>>下載文件 %s ... ...' % local_file)
buf_size = 1024
file_handler = open(local_file, 'wb')
self.ftp.retrbinary('RETR %s' % remote_file, file_handler.write, buf_size)
file_handler.close()
except Exception as err:
self.debug_print('下載文件出錯,出現異常:%s ' % err)
return
def download_file_tree(self, local_path, remote_path):
"""從遠程目錄下載多個文件到本地目錄
參數:
local_path: 本地路徑
remote_path: 遠程路徑
"""
print("download_file_tree()---> local_path = %s ,remote_path = %s" % (local_path, remote_path))
try:
self.ftp.cwd(remote_path)
except Exception as err:
self.debug_print('遠程目錄%s不存在,繼續...' % remote_path + " ,具體錯誤描述為:%s" % err)
return
if not os.path.isdir(local_path):
self.debug_print('本地目錄%s不存在,先創建本地目錄' % local_path)
os.makedirs(local_path)
self.debug_print('切換至目錄: %s' % self.ftp.pwd())
self.file_list = []
# 方法回調
self.ftp.dir(self.get_file_list)
remote_names = self.file_list
self.debug_print('遠程目錄 列表: %s' % remote_names)
for item in remote_names:
file_type = item[0]
file_name = item[1]
local = os.path.join(local_path, file_name)
if file_type == 'd':
print("download_file_tree()---> 下載目錄: %s" % file_name)
self.download_file_tree(local, file_name)
elif file_type == '-':
print("download_file()---> 下載文件: %s" % file_name)
self.download_file(local, file_name)
self.ftp.cwd("..")
self.debug_print('返回上層目錄 %s' % self.ftp.pwd())
return True
def upload_file(self, local_file, remote_file):
"""從本地上傳文件到ftp
參數:
local_path: 本地文件
remote_path: 遠程文件
"""
if not os.path.isfile(local_file):
self.debug_print('%s 不存在' % local_file)
return
if self.is_same_size(local_file, remote_file):
self.debug_print('跳過相等的文件: %s' % local_file)
return
buf_size = 1024
file_handler = open(local_file, 'rb')
self.ftp.storbinary('STOR %s' % remote_file, file_handler, buf_size)
file_handler.close()
self.debug_print('上傳: %s' % local_file + "成功!")
def upload_file_tree(self, local_path, remote_path):
"""從本地上傳目錄下多個文件到ftp
參數:
local_path: 本地路徑
remote_path: 遠程路徑
"""
if not os.path.isdir(local_path):
self.debug_print('本地目錄 %s 不存在' % local_path)
return
self.ftp.cwd(remote_path)
self.debug_print('切換至遠程目錄: %s' % self.ftp.pwd())
local_name_list = os.listdir(local_path)
for local_name in local_name_list:
src = os.path.join(local_path, local_name)
if os.path.isdir(src):
try:
self.ftp.mkd(local_name)
except Exception as err:
self.debug_print("目錄已存在 %s ,具體錯誤描述為:%s" % (local_name, err))
self.debug_print("upload_file_tree()---> 上傳目錄: %s" % local_name)
self.upload_file_tree(src, local_name)
else:
self.debug_print("upload_file_tree()---> 上傳文件: %s" % local_name)
self.upload_file(src, local_name)
self.ftp.cwd("..")
def close(self):
""" 退出ftp
"""
self.debug_print("close()---> FTP退出")
self.ftp.quit()
# self.log_file.close()
def debug_print(self, s):
""" 打印日誌
"""
self.write_log(s)
def deal_error(self, e):
""" 處理錯誤異常
參數:
e:異常
"""
log_str = '發生錯誤: %s' % e
self.write_log(log_str)
sys.exit()
def write_log(self, log_str):
""" 記錄日誌
參數:
log_str:日誌
"""
time_now = time.localtime()
date_now = time.strftime('%Y-%m-%d', time_now)
format_log_str = "%s ---> %s \n " % (date_now, log_str)
print(format_log_str)
# self.log_file.write(format_log_str)
def get_file_list(self, line):
""" 獲取文件列表
參數:
line:
"""
file_arr = self.get_file_name(line)
# 去除 . 和 ..
if file_arr[1] not in ['.', '..']:
self.file_list.append(file_arr)
def get_file_name(self, line):
""" 獲取文件名
參數:
line:
"""
pos = line.rfind(':')
while (line[pos] != ' '):
pos += 1
while (line[pos] == ' '):
pos += 1
file_arr = [line[0], line[pos:]]
return file_arr
if __name__ == "__main__":
# 清除日誌
path = os.path.dirname(os.path.realpath(__file__)) # 腳本路徑
# if os.path.exists(path + '/log.txt'):
# log_file = path + '/log.txt 'if os.sep == "/" else path + '\\' + 'log.txt'
# subprocess.Popen(f'rm -rf {log_file}', shell=True)
# time.sleep(1)
# 獲取 Actions Secrets 常量
upyunUsername = os.environ["UPYUNUSERNAME"]
upyunPassword = os.environ["UPYUNPASSWORD"]
my_ftp = MyFTP("v0.ftp.upyun.com")
my_ftp.login(upyunUsername, upyunPassword)
# 下載目錄
# 又拍雲雲存儲 → 本地 image/
if os.sep == "\\": # Windows
pass
elif os.sep == "/": # Unix
my_ftp.download_file_tree("image/", "/image/") # image/ 倉庫目錄; /image/ 又拍雲雲存儲目錄
# 上傳目錄
# 本地 image/ → 又拍雲雲存儲
if os.sep == "\\":
pass
elif os.sep == "/":
my_ftp.upload_file_tree("image/", "/image/") # image/ 倉庫目錄; /image/ 又拍雲雲存儲目錄
my_ftp.close()
5. git.sh 推送變更#
個人習慣將 push 命令寫在一個文件裡,放在倉庫根目錄下
#!/usr/bin/bash
# 遠端同步至本地
git pull
# 推送變更
git add .
git commit -m "$(date +'%Y/%m/%d')"
git push
參考文章#
- * GitHub Actions 中 python 腳本獲取倉庫 secrets
- * 使用 github 倉庫創建定時任務,定時簽到等服務
- * Python 實現的 FTP 上傳和下載功能
- * 使用 Github Action 實現全自動部署
- * 又拍雲:如何使用 FTP、API 上傳文件
- * 又拍雲:創建存儲服務和使用 FTP 上傳
- * Github/Gitlab Actions 中的 cron 格式和設置方法
- * Github Actions 執行 Python 定時任務(時區及緩存問題處理)
- * 运行 Github Actions unable to access ‘https://github.com/x/‘: The requested URL returned error: 403
- * workflow_dispatch
- 白嫖 github 的 Action 做定時任務
- Github+Action 實現自動定時推送
- 基於 github 中 action 服務的自動化打包部署
- 基於 GITHUB ACTION 的定時任務,真香!
- GitHub Actions 定時運行代碼:每天定時百度鏈接推送