dj^dZddlmZddlZddlZddlZddlZddlZddl Z ddl Z ddl Z ddl Z ejejj j Zedz dz Zdddd Zdd Zdd Zdd Zd d Zdeejj3dz dz ddddddgZdZd!dZeejj3dz dz Zd"dZd#dZe dk(r e jBeyy#e"$r'Z#ede#e jBdYdZ#[#ydZ#[#wwxYw)$ucomments.sqlite の世代バックアップ。 - `VACUUM INTO` で一貫したスナップショットを取る (稼働中の daemon と共存できる。 取得中は 書き込みが数十秒待たされるが、 daemon 側は busy_timeout=30s で吸収する) - スナップショットを `PRAGMA quick_check` で検証してから zstd 圧縮 - DB とは別の物理ディスクに置く (既定: ~/backups/stream-comments、 DB は sda / 既定先は sdb) - 世代: 日次 7 / 週次 (日曜) 4 / 月次 (1 日) 12 - channels.toml と scripts/ も一緒に tar で保存 (設定とコードの復元用) - `--offsite user@host:dir` を付けるとその日のスナップショットを scp で別マシンにも送る (14 日保持) - `--gdrive remote:path` を付けると weekly / monthly を rclone で Google Drive (暗号化 remote) に同期 使い方 (systemd timer から): python3 scripts/backup_db.py [--dest DIR] [--offsite HOST:DIR] ) annotationsNdatazcomments.sqlite )dailyweeklymonthlyc$td|dy)Nz [backup] T)flush)print)msgs scripts/backup_db.pylogr s IcU 4(c  |d|dz }|jdtj}tjdt ddd} |j d |j d t|f|jtd |jjd z d dtj|z ddtjt|} |j djd}|j djd}|j|dk7rtd|td|d|d|dz }tjddddddt|d t|g d!td"|j d#|jjd z d d$|S#|jwxYw#|jwxYw)%Nz .comments-z .sqlite.tmpT) missing_okzfile:z?mode=rog^@)uritimeoutzPRAGMA busy_timeout = 120000z VACUUM INTO ?z VACUUM INTO i.0fz MiB in z.1fszPRAGMA quick_checkrzSELECT count(*) FROM commentsokzquick_check failed: zquick_check ok, rows=, comments- .sqlite.zstzstd-qz-T0z-10z--rmz-f-ocheckucompressed →  z MiB)unlinktime monotonicsqlite3connectDBexecutestrcloserstatst_sizefetchone RuntimeError subprocessrunname) deststamptmptconnchkresrowsouts rsnapshotr;$s :eWK0 0CJJ$J A ??U2$h/T5 ID 34 _s3xk2 ,sxxz))E1#6ht~~?ORS?STW>XXYZ[ //#c( #Ckk./88:1={{:;DDFqI  d{1#788 Qx() 9UG;/ /CNNFD%c#hcRUhW_cd/#((1SXXZ%7%7%%?$DDIJ J  s-G1AG1G.1Hc|d|dz }tj|d5}dD]1}t|z }|js|j ||d3 ddd|S#1swY|SxYw)Nconfig-.tar.gzzw:gz)z channels.tomlscriptszrequirements.txtc\d|jvs|jjdrdS|S)N __pycache__z.bak)r1endswith)tis rzconfig_tar..Ds.-SUSZSZBZ^`^e^e^n^nou^v$|~r)arcnamefilter)tarfileopenROOTexistsadd)r2r3r:tfr1ps r config_tarrN>s| 75') )C c6 "@bD @Dt Axxzq$/~ @@ J @ JsA"A""A,c  dg}|jdk(r|jd|jdk(r|jd|D]E}||z }|jd||fD]%}t j |||j z 'G|j|jtjD]z\}}||z }|jsdD]Z t fd |jD} | d| D]-} | jtd |d | j /\|y) Nrr r T)exist_ok)rr=c3ZK|]"}|jjs|$yw)N)r1 startswith).0rMprefixs r zrotate..Zs"OQVV5F5Fv5N1Os ++zrotate: removed /)weekdayappenddaymkdirshutilcopy2r1r"KEEPitemsis_dirsortediterdirr) r2todaysnapconftierstierdfkeepfilesoldrVs @rrotaternHs+ IE }}! X yyA~ Y( 4K  (A LLAJ ' ((  KKMKKMjjl: d 4Kxxz . :FOaiikOOEVte} : &tfAchhZ89 : : :rz-iz.sshid_backup_ed25519rz BatchMode=yeszConnectTimeout=15z StrictHostKeyChecking=accept-newc |jd\}}}|xsd}t|d|dz t|d|dz g}tjdgt|d|d tjd d gt||d|d d tjdgt|d|dt dd t d|d|dt dy)uその日のスナップショットと設定 tar を scp で別マシンへ送り、 古いものを消す。 送り先に rsync が無くても動くよう scp + ssh だけで完結させる。 :zbackups/stream-commentsrrr=r>sshz mkdir -p TrscprrXzfind zJ -maxdepth 1 -type f \( -name 'comments-*' -o -name 'config-*' \) -mtime +z -deleteuoffsite copied → z (keep z days)N) partitionr)r/r0SSHOFFSITE_KEEP_DAYSr)rr3targethost_rdirrls roffsiter|es $$S)MD!T  ,,D 9UG;77 8#ePUwV]F^>^:_ `ENNE:C::4&'9:$GNNE4A#AA$qa/@ANNN  @ @d @ bctbuu} ~ @  dV1TF'2C1DFKLrbinrclonec dD]X}||z }|jstjtdt ||j dd|ddddgd Zt d |y ) u{週次・月次の世代だけを rclone で Google Drive (暗号化 remote) に同期する。 日次まで送ると Drive 容量を食うので、 長期保持の weekly / monthly に絞る。 remote は rclone の crypt remote (例: gdrive-crypt:stream-comments) を想定し、 本文は Drive 上では暗号化されたファイル名・中身になる。 )r r syncrXz --transfers2z--stats-one-linerTru!gdrive synced weekly/monthly → N)rar/r0RCLONEr)rstripr)r2remoterhsrcs rgdriverzsy& Tkzz|  VSX&--*<)=Qtf'E}VY[mos t   +F845rctj}|jdttj j dz dz |jdd|jdd |j}t j |j}|jd d tjj}|jd }t||}t||}t!|||||j"rt#|d z ||j"|j$rt%||j$t'j(|j*dz }t-d|ddy)Nz--destbackupszstream-comments)defaultz--gdriveuRrclone remote (例: gdrive-crypt:stream-comments)。 weekly / monthly だけ送る)helpz --offsiteu@送り先 (例: kuroneko@192.168.10.200:backups/stream-comments)T)parentsrRz%Y%m%dri@zdone. free on backup disk: rz GiBr)argparseArgumentParser add_argumentr)pathlibPathhome parse_argsr2r\dtdaterdstrftimer;rNrnr|rr] disk_usagefreer)apnsr2rdr3rerfrs rmainrs1  "BOOHc',,*;*;*= *IL]*]&^O_OOJ%yOzOOK&hOi B << DJJtdJ+ GGMMOE NN8 $E D% D dE "D 4d# zzwrzz2 yytRYY   T " ' '% /D %d3Zt45 r__main__zFAILED: rQ)rr)returnNone)r2 pathlib.Pathr3r)rr) r2rrdzdt.datererrfrrr)rrr3r)rxr)rr)r2rrr)rr)rint)$__doc__ __future__rrdatetimerrr]r%r/sysrGr#r__file__resolveparentrIr'r_rr;rNrnr)rrvrwr|rrr__name__exit ExceptionerrrsF #   w||H%%'..55 F]&&aB/)4:0 S""$v-0CC DdO $(JLM$ W\\   5 (8 3 46$ , z  hqe  s'DD,D''D,