一。前言#
https://www.jsdelivr.com/ の無効化により、ブロガーは GitHub にホストされている画像ホスティングを他のプラットフォームにバックアップすることを決定しました。
ネットで兰空图床を見て、自分で画像ホスティングを構築するアイデアが生まれました。環境構築の要件は PHP >= 8.0.2 であるため、PHP をコンパイルしてインストールすることにしました。
最終的にはサーバーの構成が低すぎる(1 コア 2G)ため、コンパイルに失敗し、断念しました。代わりに、以前に構築した環境の又拍云プラットフォームに移行しました。
ブログの内容:PHP-CentOS8.2 PHP8.1.10のコンパイルとインストール
+ GitHubの画像ホスティングを又拍云に移行するスクリプト(ftp)
+ 記事内容を一括変更するスクリプト
二。正文#
2.1❤ CentOS8.2 PHP8.1.10 のコンパイルとインストール#
2.1.1 PHP8 と oniguruma のソースコードをダウンロードし、サーバーの /mnt ディレクトリにアップロード
https://www.php.net/distributions/php-8.1.10.tar.gz
https://codeload.github.com/kkos/oniguruma/tar.gz/refs/tags/v6.9.4
# 解凍
tar xzf oniguruma-6.9.4.tar.gz
tar xzf php-8.1.10.tar.gz
2.1.2 PHP8 の依存パッケージをインストール
# 2 PHP8の依存パッケージをインストール
yum -y install autoconf freetype gd libpng libpng-devel libjpeg libxml2 libxml2-devel zlib curl curl-devel net-snmp-devel libjpeg-devel php-ldap openldap-devel openldap-clients freetype-devel gmp-devel libzip libzip-devel sqlite-devel automake libtool
2.1.3 PHP8 の依存パッケージ oniguruma をコンパイル
# 3.1 configureを生成
cd /mnt/oniguruma-6.9.4
./autogen.sh
# 3.2 コンパイル設定ファイルを生成
./configure --prefix=/usr
# 3.3 コンパイルしてインストール
make && make install
2.1.4 PHP8 のメインパッケージをコンパイル
# 4.1 コンパイル設定ファイルを生成
cd /mnt/php-8.1.10
./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --enable-fpm --with-fpm-user=nginx --with-fpm-group=nginx --enable-mysqlnd --with-mysqli --with-pdo-mysql --enable-opcache --with-pcre-jit --enable-gd --with-jpeg --with-freetype --with-gettext --with-curl --with-openssl --enable-sockets --enable-mbstring --enable-xml --with-zip --with-zlib --with-snmp --with-mhash --enable-ftp --enable-bcmath --enable-soap --enable-shmop --enable-sysvsem --enable-pcntl --with-gmp
# 4.2 コンパイルしてインストール
make && make install
構成が低すぎるため、コンパイルに失敗しました。
2.1.5 コンパイルインストール後のディレクトリ
/usr/local/php
参考
https://www.bilibili.com/read/cv9248283/
2.2 FTP を基に GitHub の画像ホスティングを又拍云に移行#
参考
公式ビデオチュートリアル - ストレージサービスの作成と FTP によるアップロード ユーザー名とパスワードを取得できます
デフォルトで又拍云のクラウドストレージサービスの申請が完了し、カスタムドメイン名がバインドされています https://help.upyun.com/knowledge-base/quick_start/
2.2.1 Python スクリプトを作成して一括処理を実現
ソースコードは http://blog.csdn.net/ouyang_peng/article/details/79271113 から取得しました
#!/usr/bin/python
# -*- coding: UTF-8 -*-
from cmath import log
from ftplib import FTP
import os
import sys
import time
import socket
import subprocess
class MyFTP:
"""
ftp自動ダウンロード、自動アップロードスクリプト、ディレクトリ操作を再帰的に行うことができます
作者:欧陽鹏
ブログアドレス:http://blog.csdn.net/ouyang_peng/article/details/79271113
"""
def __init__(self, host, port=21):
""" FTPクライアントを初期化
パラメータ:
host:IPアドレス
port:ポート番号
"""
# print("__init__()---> host = %s ,port = %s" % (host, port))
self.host = host
self.port = port
self.ftp = FTP()
# エンコーディング方式を再設定
#self.ftp.encoding = 'gbk'
self.ftp.encoding = 'utf8'
# スクリプトパスを取得
path = os.path.dirname(os.path.realpath(__file__))
self.log_file = open(path + "/log.txt", "a", encoding='utf-8')
self.file_list = []
def login(self, username, password):
""" FTPクライアントを初期化
パラメータ:
username: ユーザー名
password: パスワード
"""
try:
timeout = 60
socket.setdefaulttimeout(timeout)
# 0アクティブモード 1 パッシブモード
self.ftp.set_pasv(True)
# デバッグレベル2を開いて詳細情報を表示
# self.ftp.set_debuglevel(2)
self.debug_print('接続を試みています %s' % self.host)
self.ftp.connect(self.host, self.port)
self.debug_print('接続に成功しました %s' % self.host)
self.debug_print('ログインを試みています %s' % self.host)
self.ftp.login(username, password)
self.debug_print('ログインに成功しました %s' % self.host)
self.debug_print(self.ftp.welcome)
except Exception as err:
self.deal_error("FTP接続またはログインに失敗しました、エラーの説明:%s" % err)
pass
def is_same_size(self, local_file, remote_file):
"""リモートファイルとローカルファイルのサイズが一致するかどうかを判断
パラメータ:
local_file: ローカルファイル
remote_file: リモートファイル
"""
try:
remote_file_size = self.ftp.size(remote_file)
except Exception as err:
# self.debug_print("is_same_size() エラーの説明:%s" % err)
remote_file_size = -1
try:
local_file_size = os.path.getsize(local_file)
except Exception as err:
# self.debug_print("is_same_size() エラーの説明:%s" % err)
local_file_size = -1
self.debug_print('local_file_size:%d , remote_file_size:%d' % (local_file_size, remote_file_size))
if remote_file_size == local_file_size:
return 1
else:
return 0
def download_file(self, local_file, remote_file):
"""ftpからファイルをダウンロード
パラメータ:
local_file: ローカルファイル
remote_file: リモートファイル
"""
self.debug_print("download_file()---> local_path = %s ,remote_path = %s" % (local_file, remote_file))
if self.is_same_size(local_file, remote_file):
self.debug_print('%s ファイルサイズが同じため、ダウンロードの必要はありません' % local_file)
return
else:
try:
self.debug_print('>>>>>>>>>>>>ファイルをダウンロード中 %s ... ...' % local_file)
buf_size = 1024
file_handler = open(local_file, 'wb')
self.ftp.retrbinary('RETR %s' % remote_file, file_handler.write, buf_size)
file_handler.close()
except Exception as err:
self.debug_print('ファイルのダウンロード中にエラーが発生しました:%s ' % err)
return
def download_file_tree(self, local_path, remote_path):
"""リモートディレクトリから複数のファイルをローカルディレクトリにダウンロード
パラメータ:
local_path: ローカルパス
remote_path: リモートパス
"""
print("download_file_tree()---> local_path = %s ,remote_path = %s" % (local_path, remote_path))
try:
self.ftp.cwd(remote_path)
except Exception as err:
self.debug_print('リモートディレクトリ%sが存在しないため、続行...' % remote_path + " ,具体的なエラーの説明:%s" % err)
return
if not os.path.isdir(local_path):
self.debug_print('ローカルディレクトリ%sが存在しないため、先にローカルディレクトリを作成します' % local_path)
os.makedirs(local_path)
self.debug_print('ディレクトリに切り替えました: %s' % self.ftp.pwd())
self.file_list = []
# メソッドコールバック
self.ftp.dir(self.get_file_list)
remote_names = self.file_list
self.debug_print('リモートディレクトリのリスト: %s' % remote_names)
for item in remote_names:
file_type = item[0]
file_name = item[1]
local = os.path.join(local_path, file_name)
if file_type == 'd':
print("download_file_tree()---> ディレクトリをダウンロード中: %s" % file_name)
self.download_file_tree(local, file_name)
elif file_type == '-':
print("download_file()---> ファイルをダウンロード中: %s" % file_name)
self.download_file(local, file_name)
self.ftp.cwd("..")
self.debug_print('上のディレクトリに戻りました %s' % self.ftp.pwd())
return True
def upload_file(self, local_file, remote_file):
"""ローカルからftpにファイルをアップロード
パラメータ:
local_path: ローカルファイル
remote_path: リモートファイル
"""
if not os.path.isfile(local_file):
self.debug_print('%s が存在しません' % local_file)
return
if self.is_same_size(local_file, remote_file):
self.debug_print('同じファイルをスキップします: %s' % local_file)
return
buf_size = 1024
file_handler = open(local_file, 'rb')
self.ftp.storbinary('STOR %s' % remote_file, file_handler, buf_size)
file_handler.close()
self.debug_print('アップロード: %s' % local_file + "成功しました!")
def upload_file_tree(self, local_path, remote_path):
"""ローカルから複数のファイルをftpにアップロード
パラメータ:
local_path: ローカルパス
remote_path: リモートパス
"""
if not os.path.isdir(local_path):
self.debug_print('ローカルディレクトリ %s が存在しません' % local_path)
return
self.ftp.cwd(remote_path)
self.debug_print('リモートディレクトリに切り替えました: %s' % self.ftp.pwd())
local_name_list = os.listdir(local_path)
for local_name in local_name_list:
src = os.path.join(local_path, local_name)
if os.path.isdir(src):
try:
self.ftp.mkd(local_name)
except Exception as err:
self.debug_print("ディレクトリは既に存在します %s ,具体的なエラーの説明:%s" % (local_name, err))
self.debug_print("upload_file_tree()---> ディレクトリをアップロード中: %s" % local_name)
self.upload_file_tree(src, local_name)
else:
self.debug_print("upload_file_tree()---> ファイルをアップロード中: %s" % local_name)
self.upload_file(src, local_name)
self.ftp.cwd("..")
def close(self):
""" ftpを終了
"""
self.debug_print("close()---> FTPを終了します")
self.ftp.quit()
self.log_file.close()
def debug_print(self, s):
""" ログを出力
"""
self.write_log(s)
def deal_error(self, e):
""" エラー例外を処理
パラメータ:
e:例外
"""
log_str = 'エラーが発生しました: %s' % e
self.write_log(log_str)
sys.exit()
def write_log(self, log_str):
""" ログを記録
パラメータ:
log_str:ログ
"""
time_now = time.localtime()
date_now = time.strftime('%Y-%m-%d', time_now)
format_log_str = "%s ---> %s \n " % (date_now, log_str)
print(format_log_str)
self.log_file.write(format_log_str)
def get_file_list(self, line):
""" ファイルリストを取得
パラメータ:
line:
"""
file_arr = self.get_file_name(line)
# . と .. を除外
if file_arr[1] not in ['.', '..']:
self.file_list.append(file_arr)
def get_file_name(self, line):
""" ファイル名を取得
パラメータ:
line:
"""
pos = line.rfind(':')
while (line[pos] != ' '):
pos += 1
while (line[pos] == ' '):
pos += 1
file_arr = [line[0], line[pos:]]
return file_arr
if __name__ == "__main__":
# ログをクリア
path = os.path.dirname(os.path.realpath(__file__)) # スクリプトパス
if os.path.exists(path + '/log.txt'):
log_file = path + '/log.txt 'if os.sep == "/" else path + '\\' + 'log.txt'
subprocess.Popen(f'rm -rf {log_file}', shell=True)
time.sleep(1)
my_ftp = MyFTP("xxx.ftp.upyun.com")
my_ftp.login("xxx/xxx", "xxx")
# 単一ファイルをダウンロード
# my_ftp.download_file("E:/code_zone/image_bed/image/wallpaper/1.jpg", "/image/wallpaper/1.jpg")
# 単一ファイルをアップロード
# my_ftp.upload_file("G:/ftp_test/Release/XTCLauncher.apk", "/App/AutoUpload/ouyangpeng/I12/Release/XTCLauncher.apk")
# ディレクトリをダウンロード
# image.cpen.top/image/ → ローカル E:/code_zone/image_bed/image/ (ローカル画像ホスティングディレクトリ, 又拍云パス)
if os.sep == "\\":
my_ftp.download_file_tree("E:/code_zone/image_bed/image/", "/image/")
elif os.sep == "/": # aliyun
my_ftp.download_file_tree("/root/code_zone/image_bed/image/", "/image/")
# ディレクトリをアップロード
# ローカル E:/code_zone/image_bed/image/ → image.cpen.top/image/ (ローカル画像ホスティングディレクトリ, 又拍云パス)
if os.sep == "\\": # Windows
my_ftp.upload_file_tree("E:/code_zone/image_bed/image/", "/image/")
my_ftp.close()
elif os.sep == "/": # aliyun
my_ftp.upload_file_tree("/root/code_zone/image_bed/image/", "/image/")
my_ftp.close()
# コマンド
# python E:/code_zone/tools/python-ftp/ftp.py
# python3 /root/code_zone/tools/python-ftp/ftp.py
2.2.2 説明
my_ftp.login("ユーザー名xxx/xxx", "パスワードxxx")
参考 https://techs.upyun.com/videos/cdnpage/creating_storage.html
後にスクリプトをクラウドサーバーにアップロードし、スケジュールタスクを通じて 15 分ごとに同期し、GitHub と又拍云の画像ホスティングを一致させます。
# root @ CentOS in ~ [18:05:59]
$ crontab -l
*/15 * * * * cd /root/code_zone/image_bed/; git pull; python3 /root/code_zone/tools/python-ftp/ftp.py; bash git.sh
画像ホスティングを移行した後、ブログで画像リソースを呼び出すと、ブラウザが自動的に http から https にジャンプし、証明書がないため画像が無効になりました。そのため、SSL 証明書を申請し、又拍云にアップロードしました。
2.3 記事内容を一括変更するスクリプトを作成#
ソースコードの参考 https://blog.csdn.net/qq_38150250/article/details/118026219
#!/usr/bin/python
# -*- coding: UTF-8 -*-
# ソースコードの参考 https://blog.csdn.net/qq_38150250/article/details/118026219
import os
import re
# ファイル検索 find . -name file_name -type f
# 検索関数:search_path 検索ルートパス
# 記事パスを取得
def search(search_path, search_result):
# 現在のパス下のすべてのファイルを取得
all_file = os.listdir(search_path)
# 各ファイルに対して
for each_file in all_file:
# ファイルがフォルダの場合
if os.path.isdir(search_path + each_file):
# 再帰的に検索
search(search_path + each_file + '/', search_result)
# 検索対象のファイルの場合
else:
if re.findall('.*\.md$', each_file) == [each_file]:
# パスを出力
search_result.append(search_path + each_file)
# 置換 sed -i 's/old_str/new_str/'
# テキスト置換 replace_file_name 置換するファイルパス、replace_old_str 置換する文字、replace_new_str 新しい文字
def replace(replace_file_name, replace_old_str, replace_new_str):
with open(replace_file_name, "r", encoding = "UTF-8") as f1:
content = f1.read()
f1.close()
t = content.replace(replace_old_str, replace_new_str)
with open(replace_file_name, "w", encoding = "UTF-8") as f2:
f2.write(t)
f2.close()
# 変更が必要な場所
#path = 'E:/code_zone/.history/20220831_blog/source/_posts/'
path_list = [
'E:/code_zone/hexo-source/source/_posts/',
'E:/code_zone/hexo-source-butterfly/source/_posts/',
'E:/code_zone/hexo-source-diary/source/_posts/',
]
old_str = 'https://image.cpen.top/image/'
new_str = 'https://image.cpen.top/image/'
search_result = []
if __name__ == '__main__':
result = [] # ファイルパスを格納
# デフォルトは現在のディレクトリ
# path = os.getcwd()
for path in path_list:
search(path, result) # 記事パスを取得
count = 0
for file_name in result:
replace(file_name, old_str, new_str)
count += 1
print("{} 完了 {}".format(file_name, count))
# コマンド
# python E:/code_zone/tools/python-replace/replace.py
2.3.1 説明
search
関数はファイルタイプを.md に指定し、記事の完全なパスを取得できます;
path_list
リストは変更が必要な記事の親ディレクトリパスを格納し、サブディレクトリを再帰的に検索できます;
old_str
置換する内容
new_str
新しい内容