前書き#
GitHub Actions を使用して、Python FTP スクリプトを定期的に実行し、又拍云クラウドストレージと GitHub リポジトリ間のバックアップを実現します。
リポジトリの例:https://github.com/mycpen/image_bed/tree/main/.github
個人の例#
1. Workflow YML ファイルの追加#
以下の私の YML 例をコピーしてください。または、この記事に従って、希望のワークフローテンプレートを選択し、内容をカスタマイズしてください(Actions => New workflow = Choose a workflow)。
私のファイルパスは.github/workflows/python-app.yml
で、内容は以下の通りです:
# このワークフローはPythonの依存関係をインストールし、テストを実行し、単一のPythonバージョンでリンティングを行います
# 詳細については、https://docs.github.com/en/actions/automating-builds-and-tests/building-and-testing-pythonを参照してください
name: Pythonアプリケーション
on:
schedule:
- cron: "0 17 * * 5" # 土曜日 1:00
workflow_dispatch:
jobs:
build:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- uses: szenius/set-timezone@v1.0 # 実行環境のタイムゾーンを設定
with:
timezoneLinux: "Asia/Shanghai"
- name: Python 3.10のセットアップ
uses: actions/setup-python@v3
with:
python-version: "3.10"
- name: 同期スクリプトの実行
env:
UPYUNUSERNAME: ${{ secrets.UPYUNUSERNAME }}
UPYUNPASSWORD: ${{ secrets.UPYUNPASSWORD }}
run: |
git config --global user.name ${{ secrets.GITHUBUSERNAME }}
git config --global user.email ${{ secrets.GITHUBEMAIL }}
python .github/ftp.py
bash git.sh
パラメータの説明:
-
cron
:ワークフローのスケジュールを定義します(遅延あり)。グリニッジ標準時(UTC)で、北京時間に換算するには 8 時間を加える必要があります。参考:Actions の cron 形式と設定、Actions のタイムゾーンとキャッシュ問題の処理 -
UPYUNUSERNAME
,UPYUNPASSWORD
,GITHUBUSERNAME
,GITHUBEMAIL
はカスタム Secrets 定数です。定数名 説明 UPYUNUSERNAME 又拍云 FTP ユーザー名、形式「オペレーター名 / サービス名」、参考 又拍云ビデオチュートリアル、又拍云ドキュメント UPYUNPASSWORD 又拍云 FTP パスワード、参考同上 GITHUBUSERNAME GitHub アカウント、例:mycpen GITHUBEMAIL GitHub アカウントにバインドされた主要メール -
ftp.py
:Python スクリプトで、FTP を使用してクラウドストレージとリポジトリのファイル内容を同期します。 -
git.sh
:ローカルの変更をリモートにプッシュするスクリプトで、git add、git commit、git push などを含みます。
2. Secrets 定数の追加#
4 つの Secrets 定数、UPYUNUSERNAME、UPYUNPASSWORD、GITHUBUSERNAME、GITHUBEMAIL を追加します。具体的な意味は上記の通りです。
3. Workflow に読み書き権限を付与#
参考:https://blog.csdn.net/jj89929665/article/details/129817011
4. Python 同期スクリプトの新規作成#
スクリプトの内容は:Python による FTP のアップロードとダウンロード機能から取得しました。
スクリプトの最後の if 文で関連パスとパラメータが宣言されています。
私のスクリプトパスは.github/ftp.py
で、リポジトリの image / ディレクトリと又拍云クラウドストレージの /image/ ディレクトリを同期する役割を果たします。内容は以下の通りです:
#!/usr/bin/python
# -*- coding: UTF-8 -*-
from cmath import log
from ftplib import FTP
import os
import sys
import time
import socket
import subprocess
class MyFTP:
"""
ftp自動ダウンロード、自動アップロードスクリプト、ディレクトリ操作を再帰的に行うことができます
作者:欧陽鹏
ブログアドレス:http://blog.csdn.net/ouyang_peng/article/details/79271113
"""
def __init__(self, host, port=21):
""" FTPクライアントを初期化します
パラメータ:
host:ipアドレス
port:ポート番号
"""
# print("__init__()---> host = %s ,port = %s" % (host, port))
self.host = host
self.port = port
self.ftp = FTP()
# エンコーディング方式を再設定
#self.ftp.encoding = 'gbk'
self.ftp.encoding = 'utf8'
# スクリプトパスを取得
path = os.path.dirname(os.path.realpath(__file__))
# self.log_file = open(path + "/log.txt", "a", encoding='utf-8')
self.file_list = []
def login(self, username, password):
""" FTPクライアントを初期化します
パラメータ:
username: ユーザー名
password: パスワード
"""
try:
timeout = 60
socket.setdefaulttimeout(timeout)
# 0アクティブモード 1 #パッシブモード
self.ftp.set_pasv(True)
# デバッグレベル2を開き、詳細情報を表示
# self.ftp.set_debuglevel(2)
self.debug_print('接続を試みています %s' % self.host)
self.ftp.connect(self.host, self.port)
self.debug_print('接続成功 %s' % self.host)
self.debug_print('ログインを試みています %s' % self.host)
self.ftp.login(username, password)
self.debug_print('ログイン成功 %s' % self.host)
self.debug_print(self.ftp.welcome)
except Exception as err:
self.deal_error("FTP接続またはログインに失敗しました。エラーの説明:%s" % err)
pass
def is_same_size(self, local_file, remote_file):
"""リモートファイルとローカルファイルのサイズが一致するかどうかを判断します
パラメータ:
local_file: ローカルファイル
remote_file: リモートファイル
"""
try:
remote_file_size = self.ftp.size(remote_file)
except Exception as err:
# self.debug_print("is_same_size() エラーの説明:%s" % err)
remote_file_size = -1
try:
local_file_size = os.path.getsize(local_file)
except Exception as err:
# self.debug_print("is_same_size() エラーの説明:%s" % err)
local_file_size = -1
self.debug_print('local_file_size:%d , remote_file_size:%d' % (local_file_size, remote_file_size))
if remote_file_size == local_file_size:
return 1
else:
return 0
def download_file(self, local_file, remote_file):
"""ftpからファイルをダウンロードします
パラメータ:
local_file: ローカルファイル
remote_file: リモートファイル
"""
self.debug_print("download_file()---> local_path = %s ,remote_path = %s" % (local_file, remote_file))
if self.is_same_size(local_file, remote_file):
self.debug_print('%s ファイルサイズが同じため、ダウンロードの必要はありません' % local_file)
return
else:
try:
self.debug_print('>>>>>>>>>>>>ファイルをダウンロード中 %s ... ...' % local_file)
buf_size = 1024
file_handler = open(local_file, 'wb')
self.ftp.retrbinary('RETR %s' % remote_file, file_handler.write, buf_size)
file_handler.close()
except Exception as err:
self.debug_print('ファイルのダウンロード中にエラーが発生しました:%s ' % err)
return
def download_file_tree(self, local_path, remote_path):
"""リモートディレクトリから複数のファイルをローカルディレクトリにダウンロードします
パラメータ:
local_path: ローカルパス
remote_path: リモートパス
"""
print("download_file_tree()---> local_path = %s ,remote_path = %s" % (local_path, remote_path))
try:
self.ftp.cwd(remote_path)
except Exception as err:
self.debug_print('リモートディレクトリ%sが存在しないため、続行します...' % remote_path + " ,具体的なエラーの説明:%s" % err)
return
if not os.path.isdir(local_path):
self.debug_print('ローカルディレクトリ%sが存在しないため、先にローカルディレクトリを作成します' % local_path)
os.makedirs(local_path)
self.debug_print('ディレクトリに切り替えました: %s' % self.ftp.pwd())
self.file_list = []
# メソッドコールバック
self.ftp.dir(self.get_file_list)
remote_names = self.file_list
self.debug_print('リモートディレクトリのリスト: %s' % remote_names)
for item in remote_names:
file_type = item[0]
file_name = item[1]
local = os.path.join(local_path, file_name)
if file_type == 'd':
print("download_file_tree()---> ディレクトリをダウンロード中: %s" % file_name)
self.download_file_tree(local, file_name)
elif file_type == '-':
print("download_file()---> ファイルをダウンロード中: %s" % file_name)
self.download_file(local, file_name)
self.ftp.cwd("..")
self.debug_print('上層ディレクトリに戻りました %s' % self.ftp.pwd())
return True
def upload_file(self, local_file, remote_file):
"""ローカルからftpにファイルをアップロードします
パラメータ:
local_path: ローカルファイル
remote_path: リモートファイル
"""
if not os.path.isfile(local_file):
self.debug_print('%s が存在しません' % local_file)
return
if self.is_same_size(local_file, remote_file):
self.debug_print('等しいファイルをスキップします: %s' % local_file)
return
buf_size = 1024
file_handler = open(local_file, 'rb')
self.ftp.storbinary('STOR %s' % remote_file, file_handler, buf_size)
file_handler.close()
self.debug_print('アップロード: %s' % local_file + "成功しました!")
def upload_file_tree(self, local_path, remote_path):
"""ローカルから複数のファイルをftpにアップロードします
パラメータ:
local_path: ローカルパス
remote_path: リモートパス
"""
if not os.path.isdir(local_path):
self.debug_print('ローカルディレクトリ %s が存在しません' % local_path)
return
self.ftp.cwd(remote_path)
self.debug_print('リモートディレクトリに切り替えました: %s' % self.ftp.pwd())
local_name_list = os.listdir(local_path)
for local_name in local_name_list:
src = os.path.join(local_path, local_name)
if os.path.isdir(src):
try:
self.ftp.mkd(local_name)
except Exception as err:
self.debug_print("ディレクトリは既に存在します %s ,具体的なエラーの説明:%s" % (local_name, err))
self.debug_print("upload_file_tree()---> ディレクトリをアップロード中: %s" % local_name)
self.upload_file_tree(src, local_name)
else:
self.debug_print("upload_file_tree()---> ファイルをアップロード中: %s" % local_name)
self.upload_file(src, local_name)
self.ftp.cwd("..")
def close(self):
""" ftpから退出します
"""
self.debug_print("close()---> FTPから退出します")
self.ftp.quit()
# self.log_file.close()
def debug_print(self, s):
""" ログを印刷します
"""
self.write_log(s)
def deal_error(self, e):
""" エラー例外を処理します
パラメータ:
e:例外
"""
log_str = 'エラーが発生しました: %s' % e
self.write_log(log_str)
sys.exit()
def write_log(self, log_str):
""" ログを記録します
パラメータ:
log_str:ログ
"""
time_now = time.localtime()
date_now = time.strftime('%Y-%m-%d', time_now)
format_log_str = "%s ---> %s \n " % (date_now, log_str)
print(format_log_str)
# self.log_file.write(format_log_str)
def get_file_list(self, line):
""" ファイルリストを取得します
パラメータ:
line:
"""
file_arr = self.get_file_name(line)
# . と .. を除去
if file_arr[1] not in ['.', '..']:
self.file_list.append(file_arr)
def get_file_name(self, line):
""" ファイル名を取得します
パラメータ:
line:
"""
pos = line.rfind(':')
while (line[pos] != ' '):
pos += 1
while (line[pos] == ' '):
pos += 1
file_arr = [line[0], line[pos:]]
return file_arr
if __name__ == "__main__":
# ログをクリア
path = os.path.dirname(os.path.realpath(__file__)) # スクリプトパス
# if os.path.exists(path + '/log.txt'):
# log_file = path + '/log.txt 'if os.sep == "/" else path + '\\' + 'log.txt'
# subprocess.Popen(f'rm -rf {log_file}', shell=True)
# time.sleep(1)
# Actions Secrets定数を取得
upyunUsername = os.environ["UPYUNUSERNAME"]
upyunPassword = os.environ["UPYUNPASSWORD"]
my_ftp = MyFTP("v0.ftp.upyun.com")
my_ftp.login(upyunUsername, upyunPassword)
# ダウンロードディレクトリ
# 又拍云クラウドストレージ → ローカル image/
if os.sep == "\\": # Windows
pass
elif os.sep == "/": # Unix
my_ftp.download_file_tree("image/", "/image/") # image/ リポジトリディレクトリ; /image/ 又拍云クラウドストレージディレクトリ
# アップロードディレクトリ
# ローカル image/ → 又拍云クラウドストレージ
if os.sep == "\\":
pass
elif os.sep == "/":
my_ftp.upload_file_tree("image/", "/image/") # image/ リポジトリディレクトリ; /image/ 又拍云クラウドストレージディレクトリ
my_ftp.close()
5. git.sh での変更のプッシュ#
個人的な習慣として、push コマンドをファイルに書き込み、リポジトリのルートディレクトリに置いています。
#!/usr/bin/bash
# リモートをローカルに同期
git pull
# 変更をプッシュ
git add .
git commit -m "$(date +'%Y/%m/%d')"
git push
参考記事#
- * GitHub Actions で python スクリプトがリポジトリの secrets を取得する
- * GitHub リポジトリを使用して定期タスクを作成し、定期的にサインインなどのサービスを実行する
- * Python による FTP のアップロードとダウンロード機能
- * GitHub Action を使用して完全自動デプロイを実現する
- * 又拍云:FTP、API を使用してファイルをアップロードする方法
- * 又拍云:ストレージサービスを作成し、FTP でアップロードする
- * Github/Gitlab Actions の cron 形式と設定方法
- * Github Actions で Python の定期タスクを実行する(タイムゾーンとキャッシュ問題の処理)
- * Github Actions を実行中に「unable to access ‘https://github.com/x/‘: The requested URL returned error: 403」が発生する
- * workflow_dispatch
- Github の Action を利用して定期タスクを行う
- Github+Action で自動的に定期的にプッシュする
- Github の Action サービスを基にした自動化パッケージデプロイ
- GITHUB ACTION に基づく定期タスク、真香!
- GitHub Actions でコードを定期的に実行する:毎日定期的に百度リンクをプッシュする