Archived
refactor: auth_system 全面异步化（aiosqlite），拆掉 web/services 层的 to_thread 桥接
拆掉两类垫片的最后一处：auth_system 原为同步 sqlite3 栈，web 层与 services 的
worker 只能靠 asyncio.to_thread 逐个桥接才不阻塞事件循环——每次 DB 访问都白付一次
线程池调度，且「同步调异步」的边界散落在 100+ 个调用点。B1 已把 worker 变成协程，
本批把访问层本身也迁到原生异步，两条线在此合拢。
改动（按子系统）：
- auth_system：db.py 照 core/db.py 现有范式重建为原生异步访问层（aiosqlite + WAL）
——读路径 _q 每次独立连接、无锁、可并发；写路径 _x / write_transaction 用
asyncio.Lock 串行化，写者不阻塞读者。users / cards / credits / ledger / logs /
settings / mail / geo / backup 九模块随之全部 async/await；security.py 是纯计算
（pbkdf2/normalize）不动。__init__ 去掉 _DB_LOCK 与 get_conn 导出。
- web：app / deps / billing / tasks_registry 与 routers/{admin_site,auth,music,
register,user} 直接 await，拆掉包裹的 to_thread。deps.secret_key 改 async，
连带 _parse_cookie 也 async（会话解析要读密钥）。
- services：_taskcore / tasks / downloads / podcast 的账本调用与查询直接 await。
4 处 start_task 调用点（download.py）确认已 await。
设计取舍（为什么这么做，而不是直接包一层）：
- 锁按**事件循环**隔离（_LOOP_LOCKS 以 id(loop) 为键）：asyncio.Lock 绑定创建它的
loop，应用主 loop 与测试各自的 loop 并存，跨 loop 复用会抛 "bound to a different
event loop"。
- WAL 切换用**独立锁** _wal_lock 而非 _write_lock：execute() 已持写锁，再在锁内
connect→_configure 会自锁死（asyncio.Lock 非重入）。切换 + 标记在专用锁内串行并
二次复查，否则并发首连会同时执行 PRAGMA journal_mode=WAL 争排他锁报
database is locked（core/db.py 同款教训，实测复现）。
- force_wal 保留：journal_mode 持久化在库文件头，库文件被删重建时新文件不继承，
必须重设。exists() 判定须在 aiosqlite.connect **之前**（connect 会创建空文件）。
- connect() 用 DB_PATH.parent 兜底建目录，优于 DATA_DIR：生产两者相同，但测试
monkeypatch 只换 DB_PATH 时兜底仍能命中正确目录。
留在 to_thread 上的仅剩**正当的阻塞卸载**，不是同步门面：PBKDF2 的 10 万次迭代
（登录链路每次都要跑）、smtplib 发信、备份文件的 copy2 / os.replace、secret.key
的文件 IO。原有 aria2 / downloader / zip 侧的 to_thread 未动。
不变量逐条保持（迁移只改执行模型，不改语义）：
- ledger_settle 幂等：账本非 open 直接 return 0，重启后重放不重复退款；
- 终态先到先得：_mark_task_terminal 对已 done/error/canceled 的任务直接 return，
堵住 canceled→error 的非法迁移边；
- settle 必须在任务锁**外**调用（ledger_settle 要抢 SQLite 写锁，busy 最长 15s，
持任务锁会让全站进度/提交/取消随库停摆）；
- reserve_and_open 的预扣与开账同事务，消除原两步之间的崩溃丢账窗口。
路径真源红线：DATA_DIR / DB_PATH / BACKUP_DIR / SECRET_KEY_PATH 仍是 auth_system.db
的**模块全局**（用与 core.db 相同的表达式，但**不是**它的别名）。测试只 patch
auth_system.db.*，若改成 core.db 的别名会静默把测试写到生产库。已核 data/site.db
读写前后 sha256 完全一致。
顺带清掉 get_conn：迁移后它只剩「转调 connect()」一层空壳、全仓零消费者（测试
直接开裸连接、备份用 db.connect()），保留等于留一条「拿裸连接自己写」的口子。
测试：19 个文件同步迁移——10 个文件的 web.deps.secret_key 替身改 async；
test_db_conn.py 的多线程首连用例按异步语义拆成 2 条（单 loop gather(16) 覆盖批量
并发首连、WAL 就绪后 8 线程各自 loop 建连覆盖跨 loop）；test_billing_scope.py 去掉
多余的 @pytest.mark.anyio；被 await 且**正常返回**的 monkeypatch 替身一律改 async
（仅 raise 的同步替身仍可用）。
门禁：ruff 全过 / pyright 0-0-0（standard 模式含 tests 与顶层模块）/ pytest
384 项全绿（0 失败 0 error 0 skipped；383→384 因 test_db_conn 拆用例）。
data/site.db 读写前后 sha256 一致（a19f5db…6487），无 -wal/-shm 边车残留。
下一步 B3：删 core/sync_http.py、core/async_bridge.py、core/http_errors.py 及
tests/test_async_bridge.py——三者在生产侧已零消费者（http_errors 仅 sync_http
自用，requests 已非声明依赖）。
This commit is contained in:
snowy-yang committed
1 parent
69a50c2c31
commit
96af56cc27
43 files changed
+1171
-1009
No files matched your search
+96
-65
@@ -1,74 +1,83 @@
|
||||
"""get_conn 连接策略契约：WAL 首连设置一次 + 目录自动创建。
|
||||
"""db.connect 连接策略契约：WAL 首连设置一次 + 目录自动创建。
|
||||
|
||||
背景：get_conn 原实现每个连接都执行 mkdir + PRAGMA journal_mode=WAL，
|
||||
实测每次多付 ~1.2ms（mkdir 190us + 新连接上 PRAGMA ~1ms）。WAL 模式
|
||||
持久化在库文件头里，与 core/db.py 的 _WAL_READY_FOR 同款，按路径设一次即可。
|
||||
背景：原同步实现每个连接都执行 mkdir + PRAGMA journal_mode=WAL，实测每次
|
||||
多付 ~1.2ms（mkdir 190us + 新连接上 PRAGMA ~1ms）。WAL 模式持久化在库文件头
|
||||
里，与 core/db.py 的 _WAL_READY_FOR 同款，按路径设一次即可。迁移到 aiosqlite
|
||||
后策略不变：`_configure` 在专用锁内首连设置一次，库文件被删重建时（force_wal）
|
||||
再补设。
|
||||
"""
|
||||
|
||||
import sqlite3
|
||||
import asyncio
|
||||
import threading
|
||||
from pathlib import Path
|
||||
|
||||
import aiosqlite
|
||||
|
||||
from auth_system import db
|
||||
|
||||
|
||||
def _point_db_to(monkeypatch, tmp_path: Path, conn_counter: list[int] | None = None):
|
||||
def _point_db_to(monkeypatch, tmp_path: Path, statements: list[str] | None = None):
|
||||
"""把 DB_PATH 指到临时库，并清空 WAL 已就绪缓存。"""
|
||||
new_path = tmp_path / 'site.db'
|
||||
monkeypatch.setattr(db, 'DB_PATH', new_path)
|
||||
monkeypatch.setattr(db, '_WAL_READY', set())
|
||||
if conn_counter is not None:
|
||||
real_connect = sqlite3.connect
|
||||
monkeypatch.setattr(db, '_WAL_READY_FOR', None)
|
||||
if statements is not None:
|
||||
real_connect = aiosqlite.connect
|
||||
|
||||
def counting_connect(*a, **k):
|
||||
conn_counter[0] += 1
|
||||
return real_connect(*a, **k)
|
||||
async def tracing_connect(*a, **k):
|
||||
# 在第一句 PRAGMA 之前挂追踪器，才能捕获 _configure 执行的语句
|
||||
conn = await real_connect(*a, **k)
|
||||
await conn.set_trace_callback(statements.append)
|
||||
return conn
|
||||
|
||||
monkeypatch.setattr(db.sqlite3, 'connect', counting_connect)
|
||||
monkeypatch.setattr(db.aiosqlite, 'connect', tracing_connect)
|
||||
return new_path
|
||||
|
||||
|
||||
async def _open_close() -> None:
|
||||
conn = await db.connect()
|
||||
await conn.close()
|
||||
|
||||
|
||||
async def _journal_mode() -> str:
|
||||
conn = await db.connect()
|
||||
try:
|
||||
row = await (await conn.execute('PRAGMA journal_mode')).fetchone()
|
||||
assert row is not None
|
||||
return str(row[0]).lower()
|
||||
finally:
|
||||
await conn.close()
|
||||
|
||||
|
||||
def test_wal_mode_active_on_fresh_db(monkeypatch, tmp_path):
|
||||
"""新路径首连：WAL 生效。"""
|
||||
_point_db_to(monkeypatch, tmp_path)
|
||||
conn = db.get_conn()
|
||||
try:
|
||||
mode = conn.execute('PRAGMA journal_mode').fetchone()[0]
|
||||
assert mode.lower() == 'wal'
|
||||
finally:
|
||||
conn.close()
|
||||
assert asyncio.run(_journal_mode()) == 'wal'
|
||||
|
||||
|
||||
def test_wal_pragma_only_once_per_path(monkeypatch, tmp_path):
|
||||
"""同一路径第二次起不再执行 PRAGMA journal_mode=WAL（用 SQL 追踪器实证）。"""
|
||||
_point_db_to(monkeypatch, tmp_path)
|
||||
|
||||
conn1 = db.get_conn()
|
||||
conn1.close()
|
||||
conn2 = db.get_conn()
|
||||
conn2.close()
|
||||
|
||||
# 用 sqlite3 的 set_trace_callback 记录第三条连接上的语句（2 连接已建立缓存）
|
||||
"""同一路径第二次起不再执行 PRAGMA journal_mode=WAL（SQL 追踪器实证）。"""
|
||||
statements: list[str] = []
|
||||
conn3 = db.get_conn()
|
||||
conn3.set_trace_callback(statements.append)
|
||||
conn3.execute('SELECT 1').fetchall()
|
||||
conn3.close()
|
||||
assert statements == ['SELECT 1'], f'第三条连接不应再跑 PRAGMA，实际: {statements}'
|
||||
_point_db_to(monkeypatch, tmp_path, statements=statements)
|
||||
|
||||
asyncio.run(_open_close())
|
||||
assert any('journal_mode=WAL' in s for s in statements), f'首连必须设 WAL，实际: {statements}'
|
||||
|
||||
statements.clear()
|
||||
asyncio.run(_open_close())
|
||||
assert not any('journal_mode=WAL' in s for s in statements), \
|
||||
f'第二条连接不应再设 WAL，实际: {statements}'
|
||||
# 常规 PRAGMA（busy_timeout 等）每连接仍照设
|
||||
assert any('busy_timeout' in s for s in statements), statements
|
||||
|
||||
|
||||
def test_new_path_resets_wal_cache(monkeypatch, tmp_path):
|
||||
"""换库路径（测试隔离场景）：新路径重新设置 WAL。"""
|
||||
_point_db_to(monkeypatch, tmp_path / 'a')
|
||||
c = db.get_conn()
|
||||
c.close()
|
||||
asyncio.run(_open_close())
|
||||
|
||||
monkeypatch.setattr(db, 'DB_PATH', tmp_path / 'b' / 'site.db')
|
||||
c = db.get_conn()
|
||||
try:
|
||||
mode = c.execute('PRAGMA journal_mode').fetchone()[0]
|
||||
assert mode.lower() == 'wal'
|
||||
finally:
|
||||
c.close()
|
||||
assert asyncio.run(_journal_mode()) == 'wal'
|
||||
|
||||
|
||||
def test_missing_dir_auto_created(monkeypatch, tmp_path):
|
||||
@@ -77,48 +86,70 @@ def test_missing_dir_auto_created(monkeypatch, tmp_path):
|
||||
_point_db_to(monkeypatch, deep)
|
||||
assert not deep.exists()
|
||||
|
||||
conn = db.get_conn()
|
||||
try:
|
||||
conn.execute('CREATE TABLE t (v)').close()
|
||||
conn.commit()
|
||||
finally:
|
||||
conn.close()
|
||||
async def _main():
|
||||
conn = await db.connect()
|
||||
try:
|
||||
await conn.execute('CREATE TABLE t (v)')
|
||||
await conn.commit()
|
||||
finally:
|
||||
await conn.close()
|
||||
|
||||
asyncio.run(_main())
|
||||
assert (deep / 'site.db').exists()
|
||||
|
||||
|
||||
def test_deleted_db_file_recovers(monkeypatch, tmp_path):
|
||||
"""库文件被删（目录还在）：重连自动重建且恢复 WAL 模式，不崩。"""
|
||||
_point_db_to(monkeypatch, tmp_path)
|
||||
c = db.get_conn()
|
||||
c.close()
|
||||
asyncio.run(_open_close())
|
||||
|
||||
(tmp_path / 'site.db').unlink()
|
||||
conn = db.get_conn()
|
||||
try:
|
||||
conn.execute('SELECT 1').fetchall()
|
||||
mode = conn.execute('PRAGMA journal_mode').fetchone()[0]
|
||||
assert mode.lower() == 'wal', '重建的库文件必须恢复 WAL（journal_mode 不持久于新文件）'
|
||||
finally:
|
||||
conn.close()
|
||||
assert asyncio.run(_journal_mode()) == 'wal', '重建的库文件必须恢复 WAL（journal_mode 不持久于新文件）'
|
||||
|
||||
|
||||
def test_concurrent_first_connect_no_lease_conflict(monkeypatch, tmp_path):
|
||||
"""多线程同时首连（读路径不持 _DB_LOCK）：WAL 设置正确、无连接报错。
|
||||
|
||||
core/db.py 记录过并发 PRAGMA 争排他锁报 database is locked 的实测坑，
|
||||
同步层用专用锁 + 二次复查同款防护。
|
||||
"""**单事件循环内**并发首连（生产模型：一个 loop 上并发多个请求）：
|
||||
专用锁 + 二次复查保证 WAL 只切一次，无连接报错。
|
||||
"""
|
||||
import threading
|
||||
|
||||
_point_db_to(monkeypatch, tmp_path)
|
||||
|
||||
async def _main():
|
||||
async def _one():
|
||||
conn = await db.connect()
|
||||
try:
|
||||
await (await conn.execute('SELECT 1')).fetchall()
|
||||
finally:
|
||||
await conn.close()
|
||||
|
||||
await asyncio.gather(*[_one() for _ in range(16)])
|
||||
|
||||
asyncio.run(_main())
|
||||
|
||||
|
||||
def test_concurrent_connect_from_threads_after_wal_ready(monkeypatch, tmp_path):
|
||||
"""WAL 已就绪后，多线程各自独立 loop 建连不再触排他锁争用（读路径并发）。
|
||||
|
||||
为何不再钉「多线程**同时首连**」：异步层的 WAL 切换锁按事件循环隔离
|
||||
（见 auth_system/db.py 的 _loop_lock，与 core/db.py 同款），跨 loop 的首连
|
||||
无法用同一把 asyncio.Lock 串行化——那是同步栈 threading.Lock 才有的保证。
|
||||
生产只有一个事件循环（任务监控线程的 asyncio.run 只在 init_db 之后启动），
|
||||
首连争用实际发生在单 loop 内，由上一条用例覆盖。
|
||||
"""
|
||||
_point_db_to(monkeypatch, tmp_path)
|
||||
asyncio.run(_open_close()) # 先把库切到 WAL，置 _WAL_READY_FOR
|
||||
errors: list[Exception] = []
|
||||
|
||||
def worker():
|
||||
async def _one():
|
||||
conn = await db.connect()
|
||||
try:
|
||||
await (await conn.execute('SELECT 1')).fetchall()
|
||||
finally:
|
||||
await conn.close()
|
||||
|
||||
try:
|
||||
for _ in range(5):
|
||||
c = db.get_conn()
|
||||
c.execute('SELECT 1').fetchall()
|
||||
c.close()
|
||||
asyncio.run(_one())
|
||||
except Exception as e: # 收集全部失败供断言
|
||||
errors.append(e)
|
||||
|
||||
|
||||
Reference in new issue
Block a user