Archived
拆掉两类垫片的最后一处:auth_system 原为同步 sqlite3 栈,web 层与 services 的
worker 只能靠 asyncio.to_thread 逐个桥接才不阻塞事件循环——每次 DB 访问都白付一次
线程池调度,且「同步调异步」的边界散落在 100+ 个调用点。B1 已把 worker 变成协程,
本批把访问层本身也迁到原生异步,两条线在此合拢。
改动(按子系统):
- auth_system:db.py 照 core/db.py 现有范式重建为原生异步访问层(aiosqlite + WAL)
——读路径 _q 每次独立连接、无锁、可并发;写路径 _x / write_transaction 用
asyncio.Lock 串行化,写者不阻塞读者。users / cards / credits / ledger / logs /
settings / mail / geo / backup 九模块随之全部 async/await;security.py 是纯计算
(pbkdf2/normalize)不动。__init__ 去掉 _DB_LOCK 与 get_conn 导出。
- web:app / deps / billing / tasks_registry 与 routers/{admin_site,auth,music,
register,user} 直接 await,拆掉包裹的 to_thread。deps.secret_key 改 async,
连带 _parse_cookie 也 async(会话解析要读密钥)。
- services:_taskcore / tasks / downloads / podcast 的账本调用与查询直接 await。
4 处 start_task 调用点(download.py)确认已 await。
设计取舍(为什么这么做,而不是直接包一层):
- 锁按**事件循环**隔离(_LOOP_LOCKS 以 id(loop) 为键):asyncio.Lock 绑定创建它的
loop,应用主 loop 与测试各自的 loop 并存,跨 loop 复用会抛 "bound to a different
event loop"。
- WAL 切换用**独立锁** _wal_lock 而非 _write_lock:execute() 已持写锁,再在锁内
connect→_configure 会自锁死(asyncio.Lock 非重入)。切换 + 标记在专用锁内串行并
二次复查,否则并发首连会同时执行 PRAGMA journal_mode=WAL 争排他锁报
database is locked(core/db.py 同款教训,实测复现)。
- force_wal 保留:journal_mode 持久化在库文件头,库文件被删重建时新文件不继承,
必须重设。exists() 判定须在 aiosqlite.connect **之前**(connect 会创建空文件)。
- connect() 用 DB_PATH.parent 兜底建目录,优于 DATA_DIR:生产两者相同,但测试
monkeypatch 只换 DB_PATH 时兜底仍能命中正确目录。
留在 to_thread 上的仅剩**正当的阻塞卸载**,不是同步门面:PBKDF2 的 10 万次迭代
(登录链路每次都要跑)、smtplib 发信、备份文件的 copy2 / os.replace、secret.key
的文件 IO。原有 aria2 / downloader / zip 侧的 to_thread 未动。
不变量逐条保持(迁移只改执行模型,不改语义):
- ledger_settle 幂等:账本非 open 直接 return 0,重启后重放不重复退款;
- 终态先到先得:_mark_task_terminal 对已 done/error/canceled 的任务直接 return,
堵住 canceled→error 的非法迁移边;
- settle 必须在任务锁**外**调用(ledger_settle 要抢 SQLite 写锁,busy 最长 15s,
持任务锁会让全站进度/提交/取消随库停摆);
- reserve_and_open 的预扣与开账同事务,消除原两步之间的崩溃丢账窗口。
路径真源红线:DATA_DIR / DB_PATH / BACKUP_DIR / SECRET_KEY_PATH 仍是 auth_system.db
的**模块全局**(用与 core.db 相同的表达式,但**不是**它的别名)。测试只 patch
auth_system.db.*,若改成 core.db 的别名会静默把测试写到生产库。已核 data/site.db
读写前后 sha256 完全一致。
顺带清掉 get_conn:迁移后它只剩「转调 connect()」一层空壳、全仓零消费者(测试
直接开裸连接、备份用 db.connect()),保留等于留一条「拿裸连接自己写」的口子。
测试:19 个文件同步迁移——10 个文件的 web.deps.secret_key 替身改 async;
test_db_conn.py 的多线程首连用例按异步语义拆成 2 条(单 loop gather(16) 覆盖批量
并发首连、WAL 就绪后 8 线程各自 loop 建连覆盖跨 loop);test_billing_scope.py 去掉
多余的 @pytest.mark.anyio;被 await 且**正常返回**的 monkeypatch 替身一律改 async
(仅 raise 的同步替身仍可用)。
门禁:ruff 全过 / pyright 0-0-0(standard 模式含 tests 与顶层模块)/ pytest
384 项全绿(0 失败 0 error 0 skipped;383→384 因 test_db_conn 拆用例)。
data/site.db 读写前后 sha256 一致(a19f5db…6487),无 -wal/-shm 边车残留。
下一步 B3:删 core/sync_http.py、core/async_bridge.py、core/http_errors.py 及
tests/test_async_bridge.py——三者在生产侧已零消费者(http_errors 仅 sync_http
自用,requests 已非声明依赖)。
163 lines
5.7 KiB
Python
163 lines
5.7 KiB
Python
"""db.connect 连接策略契约:WAL 首连设置一次 + 目录自动创建。
|
||
|
||
背景:原同步实现每个连接都执行 mkdir + PRAGMA journal_mode=WAL,实测每次
|
||
多付 ~1.2ms(mkdir 190us + 新连接上 PRAGMA ~1ms)。WAL 模式持久化在库文件头
|
||
里,与 core/db.py 的 _WAL_READY_FOR 同款,按路径设一次即可。迁移到 aiosqlite
|
||
后策略不变:`_configure` 在专用锁内首连设置一次,库文件被删重建时(force_wal)
|
||
再补设。
|
||
"""
|
||
|
||
import asyncio
|
||
import threading
|
||
from pathlib import Path
|
||
|
||
import aiosqlite
|
||
|
||
from auth_system import db
|
||
|
||
|
||
def _point_db_to(monkeypatch, tmp_path: Path, statements: list[str] | None = None):
|
||
"""把 DB_PATH 指到临时库,并清空 WAL 已就绪缓存。"""
|
||
new_path = tmp_path / 'site.db'
|
||
monkeypatch.setattr(db, 'DB_PATH', new_path)
|
||
monkeypatch.setattr(db, '_WAL_READY_FOR', None)
|
||
if statements is not None:
|
||
real_connect = aiosqlite.connect
|
||
|
||
async def tracing_connect(*a, **k):
|
||
# 在第一句 PRAGMA 之前挂追踪器,才能捕获 _configure 执行的语句
|
||
conn = await real_connect(*a, **k)
|
||
await conn.set_trace_callback(statements.append)
|
||
return conn
|
||
|
||
monkeypatch.setattr(db.aiosqlite, 'connect', tracing_connect)
|
||
return new_path
|
||
|
||
|
||
async def _open_close() -> None:
|
||
conn = await db.connect()
|
||
await conn.close()
|
||
|
||
|
||
async def _journal_mode() -> str:
|
||
conn = await db.connect()
|
||
try:
|
||
row = await (await conn.execute('PRAGMA journal_mode')).fetchone()
|
||
assert row is not None
|
||
return str(row[0]).lower()
|
||
finally:
|
||
await conn.close()
|
||
|
||
|
||
def test_wal_mode_active_on_fresh_db(monkeypatch, tmp_path):
|
||
"""新路径首连:WAL 生效。"""
|
||
_point_db_to(monkeypatch, tmp_path)
|
||
assert asyncio.run(_journal_mode()) == 'wal'
|
||
|
||
|
||
def test_wal_pragma_only_once_per_path(monkeypatch, tmp_path):
|
||
"""同一路径第二次起不再执行 PRAGMA journal_mode=WAL(SQL 追踪器实证)。"""
|
||
statements: list[str] = []
|
||
_point_db_to(monkeypatch, tmp_path, statements=statements)
|
||
|
||
asyncio.run(_open_close())
|
||
assert any('journal_mode=WAL' in s for s in statements), f'首连必须设 WAL,实际: {statements}'
|
||
|
||
statements.clear()
|
||
asyncio.run(_open_close())
|
||
assert not any('journal_mode=WAL' in s for s in statements), \
|
||
f'第二条连接不应再设 WAL,实际: {statements}'
|
||
# 常规 PRAGMA(busy_timeout 等)每连接仍照设
|
||
assert any('busy_timeout' in s for s in statements), statements
|
||
|
||
|
||
def test_new_path_resets_wal_cache(monkeypatch, tmp_path):
|
||
"""换库路径(测试隔离场景):新路径重新设置 WAL。"""
|
||
_point_db_to(monkeypatch, tmp_path / 'a')
|
||
asyncio.run(_open_close())
|
||
|
||
monkeypatch.setattr(db, 'DB_PATH', tmp_path / 'b' / 'site.db')
|
||
assert asyncio.run(_journal_mode()) == 'wal'
|
||
|
||
|
||
def test_missing_dir_auto_created(monkeypatch, tmp_path):
|
||
"""目录不存在:connect 失败兜底 mkdir 重试,不经 init_db 也能用。"""
|
||
deep = tmp_path / 'x' / 'y'
|
||
_point_db_to(monkeypatch, deep)
|
||
assert not deep.exists()
|
||
|
||
async def _main():
|
||
conn = await db.connect()
|
||
try:
|
||
await conn.execute('CREATE TABLE t (v)')
|
||
await conn.commit()
|
||
finally:
|
||
await conn.close()
|
||
|
||
asyncio.run(_main())
|
||
assert (deep / 'site.db').exists()
|
||
|
||
|
||
def test_deleted_db_file_recovers(monkeypatch, tmp_path):
|
||
"""库文件被删(目录还在):重连自动重建且恢复 WAL 模式,不崩。"""
|
||
_point_db_to(monkeypatch, tmp_path)
|
||
asyncio.run(_open_close())
|
||
|
||
(tmp_path / 'site.db').unlink()
|
||
assert asyncio.run(_journal_mode()) == 'wal', '重建的库文件必须恢复 WAL(journal_mode 不持久于新文件)'
|
||
|
||
|
||
def test_concurrent_first_connect_no_lease_conflict(monkeypatch, tmp_path):
|
||
"""**单事件循环内**并发首连(生产模型:一个 loop 上并发多个请求):
|
||
专用锁 + 二次复查保证 WAL 只切一次,无连接报错。
|
||
"""
|
||
_point_db_to(monkeypatch, tmp_path)
|
||
|
||
async def _main():
|
||
async def _one():
|
||
conn = await db.connect()
|
||
try:
|
||
await (await conn.execute('SELECT 1')).fetchall()
|
||
finally:
|
||
await conn.close()
|
||
|
||
await asyncio.gather(*[_one() for _ in range(16)])
|
||
|
||
asyncio.run(_main())
|
||
|
||
|
||
def test_concurrent_connect_from_threads_after_wal_ready(monkeypatch, tmp_path):
|
||
"""WAL 已就绪后,多线程各自独立 loop 建连不再触排他锁争用(读路径并发)。
|
||
|
||
为何不再钉「多线程**同时首连**」:异步层的 WAL 切换锁按事件循环隔离
|
||
(见 auth_system/db.py 的 _loop_lock,与 core/db.py 同款),跨 loop 的首连
|
||
无法用同一把 asyncio.Lock 串行化——那是同步栈 threading.Lock 才有的保证。
|
||
生产只有一个事件循环(任务监控线程的 asyncio.run 只在 init_db 之后启动),
|
||
首连争用实际发生在单 loop 内,由上一条用例覆盖。
|
||
"""
|
||
_point_db_to(monkeypatch, tmp_path)
|
||
asyncio.run(_open_close()) # 先把库切到 WAL,置 _WAL_READY_FOR
|
||
errors: list[Exception] = []
|
||
|
||
def worker():
|
||
async def _one():
|
||
conn = await db.connect()
|
||
try:
|
||
await (await conn.execute('SELECT 1')).fetchall()
|
||
finally:
|
||
await conn.close()
|
||
|
||
try:
|
||
for _ in range(5):
|
||
asyncio.run(_one())
|
||
except Exception as e: # 收集全部失败供断言
|
||
errors.append(e)
|
||
|
||
threads = [threading.Thread(target=worker) for _ in range(8)]
|
||
for t in threads:
|
||
t.start()
|
||
for t in threads:
|
||
t.join()
|
||
|
||
assert errors == []
|