Archived
snowy-yang
96af56cc27
拆掉两类垫片的最后一处：auth_system 原为同步 sqlite3 栈，web 层与 services 的
worker 只能靠 asyncio.to_thread 逐个桥接才不阻塞事件循环——每次 DB 访问都白付一次
线程池调度，且「同步调异步」的边界散落在 100+ 个调用点。B1 已把 worker 变成协程，
本批把访问层本身也迁到原生异步，两条线在此合拢。
改动（按子系统）：
- auth_system：db.py 照 core/db.py 现有范式重建为原生异步访问层（aiosqlite + WAL）
——读路径 _q 每次独立连接、无锁、可并发；写路径 _x / write_transaction 用
asyncio.Lock 串行化，写者不阻塞读者。users / cards / credits / ledger / logs /
settings / mail / geo / backup 九模块随之全部 async/await；security.py 是纯计算
（pbkdf2/normalize）不动。__init__ 去掉 _DB_LOCK 与 get_conn 导出。
- web：app / deps / billing / tasks_registry 与 routers/{admin_site,auth,music,
register,user} 直接 await，拆掉包裹的 to_thread。deps.secret_key 改 async，
连带 _parse_cookie 也 async（会话解析要读密钥）。
- services：_taskcore / tasks / downloads / podcast 的账本调用与查询直接 await。
4 处 start_task 调用点（download.py）确认已 await。
设计取舍（为什么这么做，而不是直接包一层）：
- 锁按**事件循环**隔离（_LOOP_LOCKS 以 id(loop) 为键）：asyncio.Lock 绑定创建它的
loop，应用主 loop 与测试各自的 loop 并存，跨 loop 复用会抛 "bound to a different
event loop"。
- WAL 切换用**独立锁** _wal_lock 而非 _write_lock：execute() 已持写锁，再在锁内
connect→_configure 会自锁死（asyncio.Lock 非重入）。切换 + 标记在专用锁内串行并
二次复查，否则并发首连会同时执行 PRAGMA journal_mode=WAL 争排他锁报
database is locked（core/db.py 同款教训，实测复现）。
- force_wal 保留：journal_mode 持久化在库文件头，库文件被删重建时新文件不继承，
必须重设。exists() 判定须在 aiosqlite.connect **之前**（connect 会创建空文件）。
- connect() 用 DB_PATH.parent 兜底建目录，优于 DATA_DIR：生产两者相同，但测试
monkeypatch 只换 DB_PATH 时兜底仍能命中正确目录。
留在 to_thread 上的仅剩**正当的阻塞卸载**，不是同步门面：PBKDF2 的 10 万次迭代
（登录链路每次都要跑）、smtplib 发信、备份文件的 copy2 / os.replace、secret.key
的文件 IO。原有 aria2 / downloader / zip 侧的 to_thread 未动。
不变量逐条保持（迁移只改执行模型，不改语义）：
- ledger_settle 幂等：账本非 open 直接 return 0，重启后重放不重复退款；
- 终态先到先得：_mark_task_terminal 对已 done/error/canceled 的任务直接 return，
堵住 canceled→error 的非法迁移边；
- settle 必须在任务锁**外**调用（ledger_settle 要抢 SQLite 写锁，busy 最长 15s，
持任务锁会让全站进度/提交/取消随库停摆）；
- reserve_and_open 的预扣与开账同事务，消除原两步之间的崩溃丢账窗口。
路径真源红线：DATA_DIR / DB_PATH / BACKUP_DIR / SECRET_KEY_PATH 仍是 auth_system.db
的**模块全局**（用与 core.db 相同的表达式，但**不是**它的别名）。测试只 patch
auth_system.db.*，若改成 core.db 的别名会静默把测试写到生产库。已核 data/site.db
读写前后 sha256 完全一致。
顺带清掉 get_conn：迁移后它只剩「转调 connect()」一层空壳、全仓零消费者（测试
直接开裸连接、备份用 db.connect()），保留等于留一条「拿裸连接自己写」的口子。
测试：19 个文件同步迁移——10 个文件的 web.deps.secret_key 替身改 async；
test_db_conn.py 的多线程首连用例按异步语义拆成 2 条（单 loop gather(16) 覆盖批量
并发首连、WAL 就绪后 8 线程各自 loop 建连覆盖跨 loop）；test_billing_scope.py 去掉
多余的 @pytest.mark.anyio；被 await 且**正常返回**的 monkeypatch 替身一律改 async
（仅 raise 的同步替身仍可用）。
门禁：ruff 全过 / pyright 0-0-0（standard 模式含 tests 与顶层模块）/ pytest
384 项全绿（0 失败 0 error 0 skipped；383→384 因 test_db_conn 拆用例）。
data/site.db 读写前后 sha256 一致（a19f5db…6487），无 -wal/-shm 边车残留。
下一步 B3：删 core/sync_http.py、core/async_bridge.py、core/http_errors.py 及
tests/test_async_bridge.py——三者在生产侧已零消费者（http_errors 仅 sync_http
自用，requests 已非声明依赖）。
246 lines
5.8 KiB
Python
246 lines
5.8 KiB
Python
# -*- coding: utf-8 -*-
|
||
"""站点认证与管理系统
|
||
|
||
提供网站级用户体系：
|
||
- 用户注册（邮箱验证码）/ 登录 / 登出 / 注册即赠下载次数（试用领取已并入注册）
|
||
- 按次计费（一首歌 = 1 次）、卡密（次数卡）充值
|
||
- 管理员后台：用户管理 / SMTP 配置 / 卡密生成 / 公告 / 日志 / 数据库备份
|
||
- 接口装饰器：login_required（强制登录 + 按次扣费）/ admin_required（仅管理员）
|
||
|
||
数据存储：SQLite（data/site.db），会话：Flask 签名 Cookie（secret_key 持久化）
|
||
"""
|
||
|
||
# 兼容门面：实现已按职责拆分到同包各子模块，此处原样再导出。
|
||
# 用 `__all__` 声明再导出（ruff F401 与 pyright 均据此认定「有意再导出」），
|
||
# 使既有调用点（auth_system.xxx / from auth_system import Y）零改动。
|
||
#
|
||
# ⚠️ 路径常量（DATA_DIR / DB_PATH / BACKUP_DIR / SECRET_KEY_PATH）在此只是
|
||
# **import 时的值快照**：它们是再导出的绑定，运行时改 auth_system.DB_PATH
|
||
# 不会影响 db / backup 的实际读写路径（那只会静默失效，且看起来"改成功了"）。
|
||
# 一律不要经由包属性做重定向：
|
||
# - 测试：patch `auth_system.db.<NAME>`（唯一来源，db 与 backup 都随动）
|
||
# - 部署：设置环境变量 SITE_DATA_DIR（须在进程启动前）
|
||
# 此处保留再导出仅为不破坏既有 `auth_system.DB_PATH` 读取方（如黄金测试）。
|
||
|
||
from .backup import (
|
||
_BACKUP_ERR_TS,
|
||
_BACKUP_NAME_LOCK,
|
||
_auto_backup_loop,
|
||
_backup_is_valid_db,
|
||
_backup_thread_started,
|
||
_before_restore_hook,
|
||
backup_path,
|
||
create_backup,
|
||
delete_backup,
|
||
list_backups,
|
||
prune_backups,
|
||
register_before_restore_hook,
|
||
restore_backup,
|
||
start_auto_backup,
|
||
)
|
||
from .cards import (
|
||
delete_card,
|
||
generate_cards,
|
||
list_cards,
|
||
redeem_card,
|
||
set_card_disabled,
|
||
)
|
||
from .credits import (
|
||
add_credits,
|
||
charge_credits,
|
||
format_credits,
|
||
refund_credits,
|
||
reserve_credits,
|
||
)
|
||
from .db import (
|
||
BACKUP_DIR,
|
||
DATA_DIR,
|
||
DB_PATH,
|
||
DEFAULT_ADMIN_USER,
|
||
DEFAULT_REGISTER_CREDITS,
|
||
SECRET_KEY_PATH,
|
||
SESSION_KEY,
|
||
_q,
|
||
_x,
|
||
get_secret_key,
|
||
init_db,
|
||
)
|
||
from .geo import (
|
||
_PROVINCE_CACHE,
|
||
PROVINCE_BAN_LIMIT,
|
||
PROVINCE_WINDOW,
|
||
_is_private_ip,
|
||
query_ip_province,
|
||
record_login_location,
|
||
)
|
||
from .ledger import (
|
||
ledger_cleanup_settled,
|
||
ledger_get,
|
||
ledger_open,
|
||
ledger_recover_orphans,
|
||
ledger_rename,
|
||
ledger_settle,
|
||
ledger_supplement,
|
||
reserve_and_open,
|
||
)
|
||
from .logs import (
|
||
_LOG_WRITE_COUNTER,
|
||
add_log,
|
||
clear_logs,
|
||
query_logs,
|
||
)
|
||
from .mail import (
|
||
_CODE_EMAIL_TEMPLATES,
|
||
_CODE_FAILS,
|
||
_CODE_FAILS_MAX,
|
||
_CODE_PURPOSES,
|
||
_EMAIL_SENT_24H,
|
||
_SMTP_ENC_PREFIX,
|
||
_code_fails_trim,
|
||
_smtp_connect,
|
||
_smtp_password_decrypt,
|
||
_smtp_password_encrypt,
|
||
check_verify_code,
|
||
get_smtp_config,
|
||
restore_verify_code,
|
||
save_smtp_config,
|
||
send_email,
|
||
send_verify_code,
|
||
smtp_configured,
|
||
)
|
||
from .security import (
|
||
_PBKDF2_ITERS,
|
||
_hash,
|
||
_hash_new,
|
||
_normalize_email,
|
||
_verify_password,
|
||
)
|
||
from .settings import (
|
||
get_announcement,
|
||
get_setting,
|
||
save_announcement,
|
||
set_setting,
|
||
)
|
||
from .users import (
|
||
RegistrationGuard,
|
||
_last_province,
|
||
_user_public,
|
||
ban_user,
|
||
create_user,
|
||
delete_user,
|
||
device_used,
|
||
get_user_by_email,
|
||
get_user_by_id,
|
||
get_user_by_name,
|
||
list_users,
|
||
register_ip_exceeded,
|
||
reset_password,
|
||
set_user_credits,
|
||
set_user_netease_cookie,
|
||
set_user_password,
|
||
set_user_status,
|
||
unban_user,
|
||
verify_login,
|
||
)
|
||
|
||
__all__ = [
|
||
'BACKUP_DIR',
|
||
'DATA_DIR',
|
||
'DB_PATH',
|
||
'DEFAULT_ADMIN_USER',
|
||
'DEFAULT_REGISTER_CREDITS',
|
||
'PROVINCE_BAN_LIMIT',
|
||
'PROVINCE_WINDOW',
|
||
'SECRET_KEY_PATH',
|
||
'SESSION_KEY',
|
||
'_BACKUP_ERR_TS',
|
||
'_BACKUP_NAME_LOCK',
|
||
'_CODE_EMAIL_TEMPLATES',
|
||
'_CODE_FAILS',
|
||
'_CODE_FAILS_MAX',
|
||
'_CODE_PURPOSES',
|
||
'_EMAIL_SENT_24H',
|
||
'_LOG_WRITE_COUNTER',
|
||
'_PBKDF2_ITERS',
|
||
'_PROVINCE_CACHE',
|
||
'_SMTP_ENC_PREFIX',
|
||
'RegistrationGuard',
|
||
'_auto_backup_loop',
|
||
'_backup_is_valid_db',
|
||
'_backup_thread_started',
|
||
'_before_restore_hook',
|
||
'_code_fails_trim',
|
||
'_hash',
|
||
'_hash_new',
|
||
'_is_private_ip',
|
||
'_last_province',
|
||
'_normalize_email',
|
||
'_q',
|
||
'_smtp_connect',
|
||
'_smtp_password_decrypt',
|
||
'_smtp_password_encrypt',
|
||
'_user_public',
|
||
'_verify_password',
|
||
'_x',
|
||
'add_credits',
|
||
'add_log',
|
||
'backup_path',
|
||
'ban_user',
|
||
'charge_credits',
|
||
'check_verify_code',
|
||
'clear_logs',
|
||
'create_backup',
|
||
'create_user',
|
||
'delete_backup',
|
||
'delete_card',
|
||
'delete_user',
|
||
'device_used',
|
||
'format_credits',
|
||
'generate_cards',
|
||
'get_announcement',
|
||
'get_secret_key',
|
||
'get_setting',
|
||
'get_smtp_config',
|
||
'get_user_by_email',
|
||
'get_user_by_id',
|
||
'get_user_by_name',
|
||
'init_db',
|
||
'ledger_cleanup_settled',
|
||
'ledger_get',
|
||
'ledger_open',
|
||
'ledger_recover_orphans',
|
||
'ledger_rename',
|
||
'ledger_settle',
|
||
'ledger_supplement',
|
||
'list_backups',
|
||
'list_cards',
|
||
'list_users',
|
||
'prune_backups',
|
||
'query_ip_province',
|
||
'query_logs',
|
||
'record_login_location',
|
||
'redeem_card',
|
||
'refund_credits',
|
||
'register_before_restore_hook',
|
||
'register_ip_exceeded',
|
||
'reserve_and_open',
|
||
'reserve_credits',
|
||
'reset_password',
|
||
'restore_backup',
|
||
'restore_verify_code',
|
||
'save_announcement',
|
||
'save_smtp_config',
|
||
'send_email',
|
||
'send_verify_code',
|
||
'set_card_disabled',
|
||
'set_setting',
|
||
'set_user_credits',
|
||
'set_user_netease_cookie',
|
||
'set_user_password',
|
||
'set_user_status',
|
||
'smtp_configured',
|
||
'start_auto_backup',
|
||
'unban_user',
|
||
'verify_login',
|
||
]
|