Archived
拆掉两类垫片的最后一处:auth_system 原为同步 sqlite3 栈,web 层与 services 的
worker 只能靠 asyncio.to_thread 逐个桥接才不阻塞事件循环——每次 DB 访问都白付一次
线程池调度,且「同步调异步」的边界散落在 100+ 个调用点。B1 已把 worker 变成协程,
本批把访问层本身也迁到原生异步,两条线在此合拢。
改动(按子系统):
- auth_system:db.py 照 core/db.py 现有范式重建为原生异步访问层(aiosqlite + WAL)
——读路径 _q 每次独立连接、无锁、可并发;写路径 _x / write_transaction 用
asyncio.Lock 串行化,写者不阻塞读者。users / cards / credits / ledger / logs /
settings / mail / geo / backup 九模块随之全部 async/await;security.py 是纯计算
(pbkdf2/normalize)不动。__init__ 去掉 _DB_LOCK 与 get_conn 导出。
- web:app / deps / billing / tasks_registry 与 routers/{admin_site,auth,music,
register,user} 直接 await,拆掉包裹的 to_thread。deps.secret_key 改 async,
连带 _parse_cookie 也 async(会话解析要读密钥)。
- services:_taskcore / tasks / downloads / podcast 的账本调用与查询直接 await。
4 处 start_task 调用点(download.py)确认已 await。
设计取舍(为什么这么做,而不是直接包一层):
- 锁按**事件循环**隔离(_LOOP_LOCKS 以 id(loop) 为键):asyncio.Lock 绑定创建它的
loop,应用主 loop 与测试各自的 loop 并存,跨 loop 复用会抛 "bound to a different
event loop"。
- WAL 切换用**独立锁** _wal_lock 而非 _write_lock:execute() 已持写锁,再在锁内
connect→_configure 会自锁死(asyncio.Lock 非重入)。切换 + 标记在专用锁内串行并
二次复查,否则并发首连会同时执行 PRAGMA journal_mode=WAL 争排他锁报
database is locked(core/db.py 同款教训,实测复现)。
- force_wal 保留:journal_mode 持久化在库文件头,库文件被删重建时新文件不继承,
必须重设。exists() 判定须在 aiosqlite.connect **之前**(connect 会创建空文件)。
- connect() 用 DB_PATH.parent 兜底建目录,优于 DATA_DIR:生产两者相同,但测试
monkeypatch 只换 DB_PATH 时兜底仍能命中正确目录。
留在 to_thread 上的仅剩**正当的阻塞卸载**,不是同步门面:PBKDF2 的 10 万次迭代
(登录链路每次都要跑)、smtplib 发信、备份文件的 copy2 / os.replace、secret.key
的文件 IO。原有 aria2 / downloader / zip 侧的 to_thread 未动。
不变量逐条保持(迁移只改执行模型,不改语义):
- ledger_settle 幂等:账本非 open 直接 return 0,重启后重放不重复退款;
- 终态先到先得:_mark_task_terminal 对已 done/error/canceled 的任务直接 return,
堵住 canceled→error 的非法迁移边;
- settle 必须在任务锁**外**调用(ledger_settle 要抢 SQLite 写锁,busy 最长 15s,
持任务锁会让全站进度/提交/取消随库停摆);
- reserve_and_open 的预扣与开账同事务,消除原两步之间的崩溃丢账窗口。
路径真源红线:DATA_DIR / DB_PATH / BACKUP_DIR / SECRET_KEY_PATH 仍是 auth_system.db
的**模块全局**(用与 core.db 相同的表达式,但**不是**它的别名)。测试只 patch
auth_system.db.*,若改成 core.db 的别名会静默把测试写到生产库。已核 data/site.db
读写前后 sha256 完全一致。
顺带清掉 get_conn:迁移后它只剩「转调 connect()」一层空壳、全仓零消费者(测试
直接开裸连接、备份用 db.connect()),保留等于留一条「拿裸连接自己写」的口子。
测试:19 个文件同步迁移——10 个文件的 web.deps.secret_key 替身改 async;
test_db_conn.py 的多线程首连用例按异步语义拆成 2 条(单 loop gather(16) 覆盖批量
并发首连、WAL 就绪后 8 线程各自 loop 建连覆盖跨 loop);test_billing_scope.py 去掉
多余的 @pytest.mark.anyio;被 await 且**正常返回**的 monkeypatch 替身一律改 async
(仅 raise 的同步替身仍可用)。
门禁:ruff 全过 / pyright 0-0-0(standard 模式含 tests 与顶层模块)/ pytest
384 项全绿(0 失败 0 error 0 skipped;383→384 因 test_db_conn 拆用例)。
data/site.db 读写前后 sha256 一致(a19f5db…6487),无 -wal/-shm 边车残留。
下一步 B3:删 core/sync_http.py、core/async_bridge.py、core/http_errors.py 及
tests/test_async_bridge.py——三者在生产侧已零消费者(http_errors 仅 sync_http
自用,requests 已非声明依赖)。
148 lines
5.0 KiB
Python
148 lines
5.0 KiB
Python
# -*- coding: utf-8 -*-
|
||
"""下载/计费端点沙箱测试(不触碰生产 data/site.db)。
|
||
|
||
重点验证账本守恒:
|
||
- 未登录 401
|
||
- 无效歌曲 ID:400 且**预扣已退**(账本不留 open 行、余额不变)
|
||
- 次数不足:401/expired 且不建任务
|
||
- 批量超 500:400 且退款
|
||
- 参数校验失败各分支均按「只退 open 行」退费
|
||
"""
|
||
import asyncio
|
||
|
||
import pytest
|
||
from fastapi.testclient import TestClient
|
||
|
||
import auth_system as auth
|
||
import core.db as db
|
||
|
||
SECRET = 'download-test-secret'
|
||
PW = 'Passw0rd12'
|
||
|
||
|
||
async def _fake_secret_key() -> str:
|
||
return SECRET
|
||
|
||
|
||
@pytest.fixture()
|
||
def env(tmp_path, monkeypatch):
|
||
db_path = tmp_path / 'site.db'
|
||
monkeypatch.setattr(auth.db, 'DATA_DIR', tmp_path)
|
||
monkeypatch.setattr(auth.db, 'DB_PATH', db_path)
|
||
monkeypatch.setattr(auth.db, 'BACKUP_DIR', tmp_path / 'backups')
|
||
monkeypatch.setattr(auth.db, 'SECRET_KEY_PATH', tmp_path / 'secret.key')
|
||
monkeypatch.setattr(db, 'DATA_DIR', tmp_path)
|
||
monkeypatch.setattr(db, 'DB_PATH', db_path)
|
||
asyncio.run(auth.init_db())
|
||
# 单一密钥源:web 层统一经 web.deps.secret_key 取密钥(调用期解析),
|
||
# patch 它即让登录签发与依赖校验同源
|
||
monkeypatch.setattr('web.deps.secret_key', _fake_secret_key)
|
||
|
||
# 造 3 次余额用户 + 0 次余额用户
|
||
asyncio.run(auth.create_user('payer', PW, email='p@example.com', credits=3))
|
||
asyncio.run(auth.create_user('broke', PW, email='b@example.com', credits=0))
|
||
asyncio.run(auth.create_user('rich', PW, email='r@example.com', credits=600))
|
||
|
||
from web.app import create_app
|
||
return TestClient(create_app())
|
||
|
||
|
||
def _login(env, username):
|
||
"""登录并返回 (cookie_value, body)。
|
||
|
||
直接取 Set-Cookie 原始值并用 Cookie 头携带——httpx 的 cookie jar 会对含
|
||
base64 padding('=') 的值加双引号,导致服务端签名解析失败(真实浏览器不会),
|
||
故测试避开 jar。
|
||
"""
|
||
r = env.post('/auth/login', json={'username': username, 'password': PW})
|
||
assert r.status_code == 200, r.text
|
||
raw = r.headers.get('set-cookie', '')
|
||
cookie = ''
|
||
for part in raw.split(';'):
|
||
if part.strip().startswith('session='):
|
||
cookie = part.strip()[len('session='):]
|
||
break
|
||
assert cookie, f'no session cookie in: {raw!r}'
|
||
return cookie, r.json()
|
||
|
||
|
||
def _balance(username):
|
||
u = asyncio.run(auth.get_user_by_name(username))
|
||
assert u is not None, f'用户 {username} 不存在,余额无从校验'
|
||
return int(u['duration_seconds'] or 0)
|
||
|
||
|
||
def _open_ledger_rows():
|
||
rows = asyncio.run(auth._q(
|
||
"SELECT task_id, reserved, status FROM billing_ledger WHERE status='open'"))
|
||
return [dict(r) for r in rows]
|
||
|
||
|
||
def test_download_requires_login(env):
|
||
r = env.post('/download', json={'id': '347230'})
|
||
assert r.status_code == 401
|
||
|
||
|
||
def test_download_bad_id_refunds(env):
|
||
ck, _ = _login(env, 'payer')
|
||
H = {'Cookie': f'session={ck}'}
|
||
before = _balance('payer')
|
||
r = env.post('/download', json={'id': 'not-a-number'}, headers=H)
|
||
assert r.status_code == 400
|
||
assert '无效' in r.json()['message']
|
||
# 预扣已退回,且无 open 账本行残留
|
||
assert _balance('payer') == before
|
||
assert _open_ledger_rows() == []
|
||
|
||
|
||
def test_download_bad_quality_refunds(env):
|
||
ck, _ = _login(env, 'payer')
|
||
H = {'Cookie': f'session={ck}'}
|
||
before = _balance('payer')
|
||
r = env.post('/download', json={'id': '347230', 'quality': 'nope'}, headers=H)
|
||
assert r.status_code == 400
|
||
assert _balance('payer') == before
|
||
assert _open_ledger_rows() == []
|
||
|
||
|
||
def test_download_bad_format_refunds(env):
|
||
ck, _ = _login(env, 'payer')
|
||
H = {'Cookie': f'session={ck}'}
|
||
before = _balance('payer')
|
||
r = env.post('/download', json={'id': '347230', 'format': 'xml'}, headers=H)
|
||
assert r.status_code == 400
|
||
assert _balance('payer') == before
|
||
|
||
|
||
def test_download_insufficient_credits(env):
|
||
ck, _ = _login(env, 'broke')
|
||
H = {'Cookie': f'session={ck}'}
|
||
r = env.post('/download', json={'id': '347230'}, headers=H)
|
||
assert r.status_code == 401
|
||
assert r.json().get('error_code') == 'expired'
|
||
# 未开账
|
||
assert _open_ledger_rows() == []
|
||
|
||
|
||
def test_batch_zip_too_many_refunds(env):
|
||
# 需足够余额才能为「封顶 500」预扣成功,再验证 400 时把 500 全额退回
|
||
ck, _ = _login(env, 'rich')
|
||
H = {'Cookie': f'session={ck}'}
|
||
before = _balance('rich')
|
||
ids = ','.join(str(1000 + i) for i in range(501))
|
||
r = env.post('/download/batch_zip', json={'ids': ids}, headers=H)
|
||
assert r.status_code == 400
|
||
assert '500' in r.json()['message']
|
||
# 预扣(封顶 500)已全额退回,余额回到 600
|
||
assert _balance('rich') == before
|
||
assert _open_ledger_rows() == []
|
||
|
||
|
||
def test_batch_zip_missing_ids_refunds(env):
|
||
ck, _ = _login(env, 'payer')
|
||
H = {'Cookie': f'session={ck}'}
|
||
before = _balance('payer')
|
||
r = env.post('/download/batch_zip', json={}, headers=H)
|
||
assert r.status_code == 400
|
||
assert _balance('payer') == before
|