feat: 新增备份恢复与公网加固
- 新增备份管理页与 API：在线快照、自动周期备份、按份数清理、下载、一键恢复（恢复前自动兜底） - 新增 /profile/export，普通用户可导出本人全部数据（不含 Cookie 明文） - 修复 X-Forwarded-For 可伪造导致三道 IP 防线失效，统一走 client_ip() 取客户端地址 - 取消 admin123 硬编码默认口令，留空则生成随机初始口令并仅打印一次 - .dockerignore 排除 backups/ 并加构建期断言，防止密钥随镜像分发 - 新增会话版本号，改密/停用/删除及恢复备份后其他会话立即失效 - 新增容器资源上限、采集跨度硬顶 31 天、重操作最小间隔与并发 409 - 新增访问日志、HSTS 条件下发、口令黑名单、验证码抗模板匹配、instance.json 0600 - 版本号升至 1.4.0，同步更新 README、SECURITY、.env.example 与 compose 配置
这个提交包含在：
+118
-10
@@ -28,6 +28,13 @@ EXPORT_DIR = os.path.join(DATA_DIR, "exports")
|
||||
APP_LOG = os.path.join(LOG_DIR, "app.log")
|
||||
INSTANCE_FILE = os.path.join(DATA_DIR, "instance.json")
|
||||
|
||||
# 备份落点。**刻意与 DATA_DIR 分开**：
|
||||
# * 容器里 DATA_DIR 挂的是数据卷，`docker compose down -v` 会连卷一起删；
|
||||
# 备份若躺在同一个卷里，就等于「正本与副本同时消失」—— 备份的意义没了。
|
||||
# * 备份里含 settings 的凭证密文与 users 的口令散列，必须能单独控制权限、
|
||||
# 单独挂卷、单独排除出镜像（见 .dockerignore 的 backups/）。
|
||||
BACKUP_DIR = os.environ.get("WB_BACKUP_DIR") or os.path.join(BASE_DIR, "backups")
|
||||
|
||||
# 旧版脚本项目的存档（迁移用；--migrate-csv 默认读这里）。
|
||||
# v1.3.0 起旧版被收进工作区级的 legacy-v1/ 目录，所以第一个候选是新位置，
|
||||
# 后面两个保留以兼容「还没挪走」的部署。
|
||||
@@ -58,6 +65,13 @@ DEFAULTS = {
|
||||
"schedule_times": "09:00,17:00", # 每天固定时刻（逗号分隔，本地时区）
|
||||
"catch_up": "1", # 启动时补跑当天已错过且未执行的槽位
|
||||
"catch_up_grace_hours": "12", # 超过该小时数就不再补跑
|
||||
"max_schedule_slots_per_day": "6", # 每天最多几个时刻（挡住「填 200 个时刻」）
|
||||
"collect_min_interval_seconds": "60", # 同一账号两次手动采集的最小间隔
|
||||
"collect_max_range_days": "31", # 单次采集的最长跨度（硬顶 31 天 = 1 个月）
|
||||
# ---- 实例级：自动备份 ----
|
||||
"backup_enabled": "1", # 是否开启自动备份
|
||||
"backup_interval_hours": "24", # 备份周期（小时）
|
||||
"backup_keep": "7", # 保留最近几份，超出的自动删除最旧的
|
||||
# ---- 实例级：采集参数 ----
|
||||
"page_size": "200",
|
||||
"rewind_minutes": "2", # 断点回退分钟数
|
||||
@@ -91,6 +105,12 @@ GLOBAL_KEYS = {
|
||||
"allow_register", "register_max_per_ip", "captcha_policy", "captcha_length",
|
||||
# 采集调度（v1.3.0 起为实例级：普通用户只读，不能设置频率）
|
||||
"schedule_enabled", "schedule_times", "catch_up", "catch_up_grace_hours",
|
||||
"max_schedule_slots_per_day",
|
||||
# 任务频率与采集跨度（v1.4.0 起：对外提供服务时必须能限流，
|
||||
# 否则一个注册账号就能拿 /api/collect 把云端与线程池打满）
|
||||
"collect_min_interval_seconds", "collect_max_range_days",
|
||||
# 自动备份（谁掌握备份谁就掌握全库数据，所以归管理员）
|
||||
"backup_enabled", "backup_interval_hours", "backup_keep",
|
||||
# 采集参数（同理：允许普通用户调 page_size/关 ssl_verify 都是越权）
|
||||
"page_size", "rewind_minutes", "drift_tolerance_minutes", "max_prompt",
|
||||
"verify_days", "timeout", "ssl_verify",
|
||||
@@ -155,18 +175,33 @@ NUM_SETTINGS = {
|
||||
"catch_up_grace_hours": (1, 168, "小时"),
|
||||
"captcha_length": (4, 6, "个字符"),
|
||||
"register_max_per_ip": (1, 50, "个/天"),
|
||||
"max_schedule_slots_per_day": (1, 12, "个/天"),
|
||||
"collect_min_interval_seconds": (0, 3600, "秒"),
|
||||
"collect_max_range_days": (1, 31, "天"),
|
||||
"backup_interval_hours": (1, 720, "小时"),
|
||||
"backup_keep": (1, 100, "份"),
|
||||
}
|
||||
BOOL_SETTINGS = {"schedule_enabled", "catch_up", "allow_register"}
|
||||
BOOL_SETTINGS = {"schedule_enabled", "catch_up", "allow_register", "backup_enabled"}
|
||||
|
||||
# 采集跨度的**硬顶**：无论 settings 里被改成什么（含历史脏数据、手工改库），
|
||||
# 代码层一律按这个上限夹一次。写进配置只是给管理员一个更严的旋钮，
|
||||
# 不是「改大就能突破」——上限必须由代码兜底，不能只靠校验。
|
||||
COLLECT_MAX_RANGE_DAYS_HARD = 31
|
||||
# 每日调度时刻的硬顶（同上）
|
||||
SCHEDULE_SLOTS_HARD_MAX = 12
|
||||
|
||||
_TRUE = ("1", "true", "yes", "on", "是", "启用")
|
||||
|
||||
|
||||
def normalize_setting(key, raw):
|
||||
def normalize_setting(key, raw, conn=None):
|
||||
"""校验并规范化单个设置值。
|
||||
|
||||
返回 (value, error)：
|
||||
* value 为可直接写入 settings 表的字符串；error 非空时 value 为 None。
|
||||
* 未知键（不在 DEFAULTS 里）直接拒绝，避免接口被用来写任意键。
|
||||
* `conn` 可选：个别键的上限本身是可配置的（如每日时刻数受
|
||||
`max_schedule_slots_per_day` 约束），有连接时才查得到。
|
||||
不传时只做代码层的硬顶校验，所以离线调用不会因此失败。
|
||||
"""
|
||||
if key not in DEFAULTS:
|
||||
return None, "未知配置项：%s" % key
|
||||
@@ -196,6 +231,19 @@ def normalize_setting(key, raw):
|
||||
parsed = scheduler.parse_times(raw)
|
||||
if not parsed:
|
||||
return None, "每日时刻格式不对，正确写法如 09:00,17:00"
|
||||
if len(parsed) > SCHEDULE_SLOTS_HARD_MAX:
|
||||
return None, "每日时刻最多 %d 个（当前填了 %d 个）" % (
|
||||
SCHEDULE_SLOTS_HARD_MAX, len(parsed))
|
||||
# 可配置的更严上限：时刻数量直接决定调度器的采集频次，
|
||||
# 是「一个账号能不能把云端与线程池打满」的开关，所以要有刹车。
|
||||
if conn is not None:
|
||||
from . import db as _db
|
||||
cap = _db.get_int(conn, "max_schedule_slots_per_day", 6)
|
||||
cap = max(1, min(SCHEDULE_SLOTS_HARD_MAX, cap))
|
||||
if len(parsed) > cap:
|
||||
return None, ("每日时刻最多 %d 个（当前填了 %d 个）。"
|
||||
"如需更多，请先把「每日调度时刻上限」调大。"
|
||||
% (cap, len(parsed)))
|
||||
return ",".join(parsed), None
|
||||
|
||||
if key == "captcha_policy":
|
||||
@@ -208,8 +256,14 @@ def normalize_setting(key, raw):
|
||||
v = str(raw).strip()
|
||||
if not v:
|
||||
return None, "%s 不能为空" % key
|
||||
if key == "api_base" and not v.startswith(("http://", "https://")):
|
||||
return None, "接口基址需以 http:// 或 https:// 开头"
|
||||
if key == "api_base":
|
||||
if not v.startswith(("http://", "https://")):
|
||||
return None, "接口基址需以 http:// 或 https:// 开头"
|
||||
# 云元数据地址永远不该是「云端接口」：它是 SSRF 拿云上临时凭证
|
||||
# 最经典的一跳，而且没有任何合法的采集场景需要它。
|
||||
host = v.split("//", 1)[1].split("/", 1)[0].split(":")[0].lower()
|
||||
if host in ("169.254.169.254", "metadata.google.internal", "[fd00:ec2::254]"):
|
||||
return None, "接口基址不能指向云元数据地址"
|
||||
return v, None
|
||||
|
||||
if key == "cookie":
|
||||
@@ -222,8 +276,57 @@ def normalize_setting(key, raw):
|
||||
DEFAULT_HOST = "0.0.0.0" # 局域网可访问
|
||||
DEFAULT_PORT = 8848
|
||||
SESSION_HOURS = 12
|
||||
MAX_LOGIN_FAILS = 5 # 同 IP / 同用户名连续失败次数
|
||||
LOGIN_LOCK_MINUTES = 10
|
||||
MAX_LOGIN_FAILS = 5 # 同 IP 连续失败次数（硬锁）
|
||||
LOGIN_LOCK_MINUTES = 10 # 硬锁时长（仅 IP 维度）
|
||||
# 用户名维度的**软退避**：对外提供服务后，「知道一个用户名就能把它锁死 10 分钟」
|
||||
# 本身就是一种攻击（拿管理员用户名当武器，别人也用不了）。所以用户名维度
|
||||
# 只产生秒级、递增、有封顶的等待，真正的重锁只按来源 IP 施加。
|
||||
USER_SOFT_THRESHOLD = 5 # 同一用户名失败超过这个次数才开始退避
|
||||
USER_SOFT_CAP_SECONDS = 60 # 退避封顶
|
||||
# 同一来源的登录尝试总量（含成功）：挡住「慢慢撞、不触发失败阈值」的形态
|
||||
LOGIN_ATTEMPTS_PER_IP = 40
|
||||
LOGIN_ATTEMPTS_WINDOW = 300 # 秒
|
||||
|
||||
# ---------------- 反向代理与传输安全 ----------------
|
||||
def _env_flag(name, default="0"):
|
||||
return os.environ.get(name, default).strip().lower() in ("1", "true", "yes", "on")
|
||||
|
||||
|
||||
# 是否信任 X-Forwarded-For。**默认不信任**。
|
||||
# 直接暴露给公网（或前面只有一个「追加型」代理）时，XFF 的第 0 段是攻击者
|
||||
# 自己填的：一旦采信，验证码限速、注册配额、登录锁定三道 IP 防线会同时失效
|
||||
# （实测：每次换一个伪造 XFF，45 次验证码请求全部放行）。
|
||||
# 只有在**你自己的**反向代理会重写该头（nginx: `$remote_addr`）时才置 1。
|
||||
TRUST_PROXY = _env_flag("WB_TRUST_PROXY")
|
||||
# 强制跳转 HTTPS（配合反代时用；读到 X-Forwarded-Proto: https 就不跳）
|
||||
FORCE_HTTPS = _env_flag("WB_FORCE_HTTPS")
|
||||
# 会话 Cookie 是否只走 HTTPS。纯局域网 HTTP 部署必须留 0，否则浏览器不发送，
|
||||
# 表现为「登录成功但立刻又跳回登录页」，极难排查。
|
||||
COOKIE_SECURE = _env_flag("WB_COOKIE_SECURE")
|
||||
|
||||
# 访问日志：waitress 自己不记 access log，上线后没有访问日志等于出事无据可查。
|
||||
# 只记非静态资源请求，写进 logs/app.log（滚动 2MB × 3）。
|
||||
ACCESS_LOG = _env_flag("WB_ACCESS_LOG", "1")
|
||||
|
||||
# waitress 线程数。与容器 CPU 上限配套：线程越多，单实例能同时吃进的
|
||||
# 慢请求（如采集、导出）就越多 —— 对外提供服务时这是资源上限的一部分。
|
||||
THREADS = int(os.environ.get("WB_THREADS") or 8)
|
||||
|
||||
# 首个管理员的初始口令。**不给默认值**：留空时 db.init_db 会生成一个随机口令
|
||||
# 并只在启动日志里打印一次 —— 硬编码一个 admin123 等于把公网实例的钥匙挂在门上。
|
||||
ADMIN_USER = os.environ.get("WB_ADMIN_USER") or "admin"
|
||||
ADMIN_PASSWORD = os.environ.get("WB_ADMIN_PASSWORD") or ""
|
||||
|
||||
# 口令黑名单：这些是自动撞库字典的头几页，命中即拒。
|
||||
# 只在「设置/修改口令」时校验（登录不校验），所以不会把用老口令的人挡在门外。
|
||||
WEAK_PASSWORDS = {
|
||||
"12345678", "123456789", "1234567890", "password", "password1", "password123",
|
||||
"passw0rd", "qwertyui", "qwerty123", "abc12345", "abcd1234", "admin123",
|
||||
"admin888", "admin1234", "administrator", "root1234", "letmein1", "welcome1",
|
||||
"iloveyou", "monkey123", "dragon123", "sunshine", "princess", "football",
|
||||
"baseball", "11111111", "00000000", "88888888", "66666666", "asdasd123",
|
||||
"1qaz2wsx", "zxcvbnm1", "a1234567", "workbuddy", "codebuddy",
|
||||
}
|
||||
|
||||
# ---------------- 账号与口令策略 ----------------
|
||||
USERNAME_RE = r"^[A-Za-z0-9][A-Za-z0-9_.\-]{2,31}$" # 3~32 位，字母开头
|
||||
@@ -233,13 +336,13 @@ PASSWORD_MAX = 128
|
||||
# 采集只使用**本人**的 Cookie，绝不复用别人的（否则会串号）。
|
||||
PROFILE_EMAIL_MAX = 128
|
||||
|
||||
# 会话 Cookie 是否只走 HTTPS。纯局域网 HTTP 部署必须留 0，否则浏览器不发送，
|
||||
# 表现为「登录成功但立刻又跳回登录页」，极难排查。
|
||||
COOKIE_SECURE = os.environ.get("WB_COOKIE_SECURE", "0").strip() in ("1", "true", "yes", "on")
|
||||
# 会话 Cookie 的 Secure 开关在文件上方的「反向代理与传输安全」段，
|
||||
# 与 TRUST_PROXY / FORCE_HTTPS 放在一起 —— 这三个必须一起决定，
|
||||
# 拆开写很容易出现「开了强制 HTTPS 却忘了 Secure」这类半截配置。
|
||||
|
||||
|
||||
def ensure_dirs():
|
||||
for d in (DATA_DIR, LOG_DIR, EXPORT_DIR):
|
||||
for d in (DATA_DIR, LOG_DIR, EXPORT_DIR, BACKUP_DIR):
|
||||
os.makedirs(d, exist_ok=True)
|
||||
|
||||
|
||||
@@ -265,6 +368,11 @@ def _instance_init(key, maker):
|
||||
try:
|
||||
with open(INSTANCE_FILE, "w", encoding="utf-8") as f:
|
||||
json.dump(data, f, ensure_ascii=False, indent=2)
|
||||
# 这个文件里躺着 SECRET_KEY 与 cookie_key，权限等同管理员口令。
|
||||
# 默认 umask 022 会留下 0644（同机其他用户可读），所以在 POSIX 上
|
||||
# 显式收紧到 0600。Windows 没有这个概念，忽略即可。
|
||||
if os.name == "posix":
|
||||
os.chmod(INSTANCE_FILE, 0o600)
|
||||
except OSError:
|
||||
pass # 只读文件系统时退化为「本次进程内有效」
|
||||
return val
|
||||
|
||||
在新工单中引用
屏蔽一个用户