08_他の-GitHub Actions 定期実行スクリプト、バックアップまたは拍云クラウドストレージ

前書き#

GitHub Actions を使用して、Python FTP スクリプトを定期的に実行し、又拍云クラウドストレージと GitHub リポジトリ間のバックアップを実現します。

リポジトリの例：https://github.com/mycpen/image_bed/tree/main/.github

個人の例#

1. Workflow YML ファイルの追加#

以下の私の YML 例をコピーしてください。または、この記事に従って、希望のワークフローテンプレートを選択し、内容をカスタマイズしてください（Actions => New workflow = Choose a workflow）。

私のファイルパスは.github/workflows/python-app.ymlで、内容は以下の通りです：

# このワークフローはPythonの依存関係をインストールし、テストを実行し、単一のPythonバージョンでリンティングを行います
# 詳細については、https://docs.github.com/en/actions/automating-builds-and-tests/building-and-testing-pythonを参照してください

name: Pythonアプリケーション

on:
  schedule:
    - cron: "0 17 * * 5" # 土曜日 1:00
  workflow_dispatch:

jobs:
  build:

    runs-on: ubuntu-latest

    steps:
    - uses: actions/checkout@v3
    - uses: szenius/set-timezone@v1.0 # 実行環境のタイムゾーンを設定
      with:
        timezoneLinux: "Asia/Shanghai"
    - name: Python 3.10のセットアップ
      uses: actions/setup-python@v3
      with:
        python-version: "3.10"
    - name: 同期スクリプトの実行
      env:
          UPYUNUSERNAME: ${{ secrets.UPYUNUSERNAME }}
          UPYUNPASSWORD: ${{ secrets.UPYUNPASSWORD }}
      run: |
        git config --global user.name ${{ secrets.GITHUBUSERNAME }}
        git config --global user.email ${{ secrets.GITHUBEMAIL }}
        python .github/ftp.py
        bash git.sh

パラメータの説明：

cron：ワークフローのスケジュールを定義します（遅延あり）。グリニッジ標準時（UTC）で、北京時間に換算するには 8 時間を加える必要があります。参考：Actions の cron 形式と設定、Actions のタイムゾーンとキャッシュ問題の処理

UPYUNUSERNAME, UPYUNPASSWORD, GITHUBUSERNAME, GITHUBEMAILはカスタム Secrets 定数です。

定数名	説明
UPYUNUSERNAME	又拍云 FTP ユーザー名、形式「オペレーター名 / サービス名」、参考又拍云ビデオチュートリアル、又拍云ドキュメント
UPYUNPASSWORD	又拍云 FTP パスワード、参考同上
GITHUBUSERNAME	GitHub アカウント、例：mycpen
GITHUBEMAIL	GitHub アカウントにバインドされた主要メール

ftp.py：Python スクリプトで、FTP を使用してクラウドストレージとリポジトリのファイル内容を同期します。
git.sh：ローカルの変更をリモートにプッシュするスクリプトで、git add、git commit、git push などを含みます。

2. Secrets 定数の追加#

4 つの Secrets 定数、UPYUNUSERNAME、UPYUNPASSWORD、GITHUBUSERNAME、GITHUBEMAIL を追加します。具体的な意味は上記の通りです。

3. Workflow に読み書き権限を付与#

参考：https://blog.csdn.net/jj89929665/article/details/129817011

4. Python 同期スクリプトの新規作成#

スクリプトの内容は：Python による FTP のアップロードとダウンロード機能から取得しました。

スクリプトの最後の if 文で関連パスとパラメータが宣言されています。

私のスクリプトパスは.github/ftp.pyで、リポジトリの image / ディレクトリと又拍云クラウドストレージの /image/ ディレクトリを同期する役割を果たします。内容は以下の通りです：

#!/usr/bin/python
# -*- coding: UTF-8 -*-

from cmath import log
from ftplib import FTP
import os
import sys
import time
import socket
import subprocess

class MyFTP:
    """
        ftp自動ダウンロード、自動アップロードスクリプト、ディレクトリ操作を再帰的に行うことができます
        作者：欧陽鹏
        ブログアドレス：http://blog.csdn.net/ouyang_peng/article/details/79271113
    """

    def __init__(self, host, port=21):
        """ FTPクライアントを初期化します
        パラメータ:
                 host:ipアドレス

                 port:ポート番号
        """
        # print("__init__()---> host = %s ,port = %s" % (host, port))

        self.host = host
        self.port = port
        self.ftp = FTP()
        # エンコーディング方式を再設定
        #self.ftp.encoding = 'gbk'
        self.ftp.encoding = 'utf8'
        # スクリプトパスを取得
        path = os.path.dirname(os.path.realpath(__file__))
        # self.log_file = open(path + "/log.txt", "a", encoding='utf-8')
        self.file_list = []

    def login(self, username, password):
        """ FTPクライアントを初期化します
            パラメータ:
                  username: ユーザー名

                 password: パスワード
            """
        try:
            timeout = 60
            socket.setdefaulttimeout(timeout)
            # 0アクティブモード 1 #パッシブモード
            self.ftp.set_pasv(True)
            # デバッグレベル2を開き、詳細情報を表示
            # self.ftp.set_debuglevel(2)

            self.debug_print('接続を試みています %s' % self.host)
            self.ftp.connect(self.host, self.port)
            self.debug_print('接続成功 %s' % self.host)

            self.debug_print('ログインを試みています %s' % self.host)
            self.ftp.login(username, password)
            self.debug_print('ログイン成功 %s' % self.host)

            self.debug_print(self.ftp.welcome)
        except Exception as err:
            self.deal_error("FTP接続またはログインに失敗しました。エラーの説明：%s" % err)
            pass

    def is_same_size(self, local_file, remote_file):
        """リモートファイルとローカルファイルのサイズが一致するかどうかを判断します

           パラメータ:
             local_file: ローカルファイル

             remote_file: リモートファイル
        """
        try:
            remote_file_size = self.ftp.size(remote_file)
        except Exception as err:
            # self.debug_print("is_same_size() エラーの説明：%s" % err)
            remote_file_size = -1

        try:
            local_file_size = os.path.getsize(local_file)
        except Exception as err:
            # self.debug_print("is_same_size() エラーの説明：%s" % err)
            local_file_size = -1

        self.debug_print('local_file_size:%d  , remote_file_size:%d' % (local_file_size, remote_file_size))
        if remote_file_size == local_file_size:
            return 1
        else:
            return 0

    def download_file(self, local_file, remote_file):
        """ftpからファイルをダウンロードします
            パラメータ:
                local_file: ローカルファイル

                remote_file: リモートファイル
        """
        self.debug_print("download_file()---> local_path = %s ,remote_path = %s" % (local_file, remote_file))

        if self.is_same_size(local_file, remote_file):
            self.debug_print('%s ファイルサイズが同じため、ダウンロードの必要はありません' % local_file)
            return
        else:
            try:
                self.debug_print('>>>>>>>>>>>>ファイルをダウンロード中 %s ... ...' % local_file)
                buf_size = 1024
                file_handler = open(local_file, 'wb')
                self.ftp.retrbinary('RETR %s' % remote_file, file_handler.write, buf_size)
                file_handler.close()
            except Exception as err:
                self.debug_print('ファイルのダウンロード中にエラーが発生しました：%s ' % err)
                return

    def download_file_tree(self, local_path, remote_path):
        """リモートディレクトリから複数のファイルをローカルディレクトリにダウンロードします
                       パラメータ:
                         local_path: ローカルパス

                         remote_path: リモートパス
                """
        print("download_file_tree()--->  local_path = %s ,remote_path = %s" % (local_path, remote_path))
        try:
            self.ftp.cwd(remote_path)
        except Exception as err:
            self.debug_print('リモートディレクトリ%sが存在しないため、続行します...' % remote_path + " ,具体的なエラーの説明：%s" % err)
            return

        if not os.path.isdir(local_path):
            self.debug_print('ローカルディレクトリ%sが存在しないため、先にローカルディレクトリを作成します' % local_path)
            os.makedirs(local_path)

        self.debug_print('ディレクトリに切り替えました: %s' % self.ftp.pwd())

        self.file_list = []
        # メソッドコールバック
        self.ftp.dir(self.get_file_list)

        remote_names = self.file_list
        self.debug_print('リモートディレクトリのリスト: %s' % remote_names)
        for item in remote_names:
            file_type = item[0]
            file_name = item[1]
            local = os.path.join(local_path, file_name)
            if file_type == 'd':
                print("download_file_tree()---> ディレクトリをダウンロード中： %s" % file_name)
                self.download_file_tree(local, file_name)
            elif file_type == '-':
                print("download_file()---> ファイルをダウンロード中： %s" % file_name)
                self.download_file(local, file_name)
        self.ftp.cwd("..")
        self.debug_print('上層ディレクトリに戻りました %s' % self.ftp.pwd())
        return True

    def upload_file(self, local_file, remote_file):
        """ローカルからftpにファイルをアップロードします

           パラメータ:
             local_path: ローカルファイル

             remote_path: リモートファイル
        """
        if not os.path.isfile(local_file):
            self.debug_print('%s が存在しません' % local_file)
            return

        if self.is_same_size(local_file, remote_file):
            self.debug_print('等しいファイルをスキップします: %s' % local_file)
            return

        buf_size = 1024
        file_handler = open(local_file, 'rb')
        self.ftp.storbinary('STOR %s' % remote_file, file_handler, buf_size)
        file_handler.close()
        self.debug_print('アップロード: %s' % local_file + "成功しました！")

    def upload_file_tree(self, local_path, remote_path):
        """ローカルから複数のファイルをftpにアップロードします
           パラメータ:

             local_path: ローカルパス

             remote_path: リモートパス
        """
        if not os.path.isdir(local_path):
            self.debug_print('ローカルディレクトリ %s が存在しません' % local_path)
            return

        self.ftp.cwd(remote_path)
        self.debug_print('リモートディレクトリに切り替えました: %s' % self.ftp.pwd())

        local_name_list = os.listdir(local_path)
        for local_name in local_name_list:
            src = os.path.join(local_path, local_name)
            if os.path.isdir(src):
                try:
                    self.ftp.mkd(local_name)
                except Exception as err:
                    self.debug_print("ディレクトリは既に存在します %s ,具体的なエラーの説明：%s" % (local_name, err))
                self.debug_print("upload_file_tree()---> ディレクトリをアップロード中： %s" % local_name)
                self.upload_file_tree(src, local_name)
            else:
                self.debug_print("upload_file_tree()---> ファイルをアップロード中： %s" % local_name)
                self.upload_file(src, local_name)
        self.ftp.cwd("..")

    def close(self):
        """ ftpから退出します
        """
        self.debug_print("close()---> FTPから退出します")
        self.ftp.quit()
        # self.log_file.close()

    def debug_print(self, s):
        """ ログを印刷します
        """
        self.write_log(s)

    def deal_error(self, e):
        """ エラー例外を処理します
            パラメータ：
                e：例外
        """
        log_str = 'エラーが発生しました: %s' % e
        self.write_log(log_str)
        sys.exit()

    def write_log(self, log_str):
        """ ログを記録します
            パラメータ：
                log_str：ログ
        """
        time_now = time.localtime()
        date_now = time.strftime('%Y-%m-%d', time_now)
        format_log_str = "%s ---> %s \n " % (date_now, log_str)
        print(format_log_str)
        # self.log_file.write(format_log_str)

    def get_file_list(self, line):
        """ ファイルリストを取得します
            パラメータ：
                line：
        """
        file_arr = self.get_file_name(line)
        # . と .. を除去
        if file_arr[1] not in ['.', '..']:
            self.file_list.append(file_arr)

    def get_file_name(self, line):
        """ ファイル名を取得します
            パラメータ：
                line：
        """
        pos = line.rfind(':')
        while (line[pos] != ' '):
            pos += 1
        while (line[pos] == ' '):
            pos += 1
        file_arr = [line[0], line[pos:]]
        return file_arr


if __name__ == "__main__":
    # ログをクリア
    path = os.path.dirname(os.path.realpath(__file__))      # スクリプトパス
    # if os.path.exists(path + '/log.txt'):
    #     log_file = path + '/log.txt 'if os.sep == "/" else path + '\\' + 'log.txt'
    #     subprocess.Popen(f'rm -rf {log_file}', shell=True)
    #     time.sleep(1)

    # Actions Secrets定数を取得
    upyunUsername = os.environ["UPYUNUSERNAME"]
    upyunPassword = os.environ["UPYUNPASSWORD"]

    my_ftp = MyFTP("v0.ftp.upyun.com")
    my_ftp.login(upyunUsername, upyunPassword)

    # ダウンロードディレクトリ
    # 又拍云クラウドストレージ → ローカル image/
    if os.sep == "\\":      # Windows
        pass
    elif os.sep == "/":     # Unix
        my_ftp.download_file_tree("image/", "/image/")  # image/ リポジトリディレクトリ; /image/ 又拍云クラウドストレージディレクトリ

    # アップロードディレクトリ
    # ローカル image/ → 又拍云クラウドストレージ
    if os.sep == "\\":
        pass
    elif os.sep == "/":
        my_ftp.upload_file_tree("image/", "/image/")  # image/ リポジトリディレクトリ; /image/ 又拍云クラウドストレージディレクトリ
        my_ftp.close()

5. git.sh での変更のプッシュ#

個人的な習慣として、push コマンドをファイルに書き込み、リポジトリのルートディレクトリに置いています。

#!/usr/bin/bash

# リモートをローカルに同期
git pull

# 変更をプッシュ
git add .
git commit -m "$(date +'%Y/%m/%d')"
git push

Mycpen