Commit Graph
2 Commits
Author SHA1 Message Date
snowy-yang 69a50c2c31 refactor: worker 子系统全面异步化,拆掉同步转异步的桥接层
拆掉「同步调异步 / 异步桥同步」两类垫片的第二半(HTTP 线 B2 见前序提交)。
worker 侧此前是「起线程跑同步函数、函数体内部再用 asyncio.to_thread 把活塞给
另一条循环」——线程与协程互等,取消/暂停只能靠轮询。本轮把 worker 自身变成
协程,由 _start_task 直接挂到应用事件循环上,桥接层随之失去存在理由。

改动(按子系统):
- music_downloader:downloader / _aria2 / _concurrency / cover / _http /
  __main__ 全链路协程化。per-file 锁改 asyncio.Lock;计数闸改
  「active 计数 + await asyncio.sleep(0.5)」的可取消等待(原阻塞式 with 会让
  已取消任务仍要等全局名额腾出,卡死并拖后腿退款);aria2p 的同步 RPC 仍经
  to_thread,轮询改 asyncio.sleep;新增 core.http_client.iter_chunks,把**流式
  读取期**的 aiohttp.ClientError 收敛成 UpstreamNetworkError(请求建立阶段早已
  有这条路径,读取阶段此前没有,断流会绕过调用方的 UpstreamError 分类)。
  删除 get_http_session / _SESSION_LOCAL。
  models._RetryFromScratch 不再继承 requests.RequestException 而继承 Exception:
  它是「续传起点失效、残片已清、从头重下」,既不是确定性失败
  (DownloadException),也不是残片已保留的网络失败(UpstreamError),必须独立
  成类且在 except 链中先于二者捕获。
- music_api:podcast.py 全部函数协程化(直链解析内部改
  await NeteaseAPI.get_song_url);compat.py 删除——16 个死掉的同步门面早已
  清空,文件只剩空壳。
- services:_taskcore / _zipcore / batch / downloads / podcast / tasks 协程化。
  threading.Thread → loop.create_task(任务句柄字段 worker_thread →
  worker_task),ThreadPoolExecutor → asyncio.gather + asyncio.Semaphore,
  终态函数与结算回调全部改 await;监控线程里「worker 已死」判定改 task.done()。
  删除 services/streaming.py(同步流垫片,唯一消费者已迁到
  core.http_client.open)。zipfile 实例仍非线程安全,故「下载」并行、
  「入包」严格串行。
- web:路由层 130+ 处 to_thread 拆除——被包住的目标自己已是协程,再包一层只是
  把协程丢进线程里跑一圈。tasks_registry.start_task 直接 create_task。
  web/app.py 关闭段去掉 async_bridge.shutdown()(不再有第二条约循环)。
  web/routers/download.py 的播客端点补上 3 处漏掉的 await
  (extract_podcast_ref / get_radio_detail)——漏掉时不报错、只静默返回协程对象,
  靠 pyright 抓出来后修正。

留在 to_thread 上的都是**正当的阻塞卸载**:同步 SQLite 落库与账本结算、
mutagen 全量重写标签、zipfile 整段拷贝、shutil.rmtree、aria2p 的同步 RPC、
PBKDF2 的 10 万次迭代。ruff 对残留的本地元数据操作(exists/stat/os.replace/
往 .part 顺序写分块)按「微秒级、卸载的调度开销大于操作本身」放行,pyproject
逐条注明理由。

取消/暂停仍由 threading.Event 承载:置位方是请求线程/监控线程,读取方是 worker
协程,只有「置位」与「轮询读取」两种操作,既不需要跨循环唤醒也不会卡住事件
循环——比 asyncio.Event 更省心(ASYNC110 同理按此豁免)。

测试:10 个文件的替身边界同步迁移——网络替身从 core.sync_http 的
get_http_session 换成 downloader/服务模块的 _http.open + **真实** iter_chunks
(顺带钉住读取期异常收敛);`_run` 改为在独立线程里 asyncio.run(worker(...));
aria2 的假时钟从 time.sleep 换成 _POLL_INTERVAL=0;monitor 的线程句柄替身换成
done() 可控的轻量替身(asyncio.Task 的构造需要运行中的事件循环,而监控循环跑在
常驻线程里);podcast / 封面 / 结算包装等替身一律改 async。

门禁:ruff 全过 / pyright 0-0 / pytest 383 项全绿(0 失败)。

下一步 B2:auth_system 12 个模块改 aiosqlite 背板、web 层剩余 to_thread 收尾;
B3:删 core/sync_http.py、core/async_bridge.py、core/http_errors.py(现仅
sync_http 自用)。
2026-09-28 19:36:56 +08:00
snowy-yang 9cbd341e2e refactor: 单曲下载 worker 拆解(177 行 / 圈 36 → 43 行 / 圈 8)
为什么:_single_download_worker 是单曲下载的**唯一**后台执行路径(/download 的
file 模式由 start_task 启动它),177 行 / 圈复杂度 36 / 嵌套 5,且此前**零测试
覆盖**——改坏任意一处都不会有测试报警。它的三个 except 分支各写一遍「置终态 +
退款 + 删任务目录」(9 行 × 3),正文里又散着四处逐字相同的取消检查。

改法:一步一个具名函数,主函数只留线性流程。
  SingleTaskParams      参数快照(frozen dataclass),免去每步重列长参数表
  _begin_single_task    置 running + 取参数
  _fetch_single_metadata 一次预取歌曲信息 + 算交付基础名
  _single_progress_cb   构造字节级进度回调(限频 0.4s)
  _abort_if_canceled    取消检查点(原三处逐字重复 → 一处)
  _single_file_result   不打包的交付描述
  _pack_single_zip      音频 + 歌词 + 封面 + info.txt 打成一包
  _publish_single_task  置 done(已终态不覆盖)+ 结算 + 记日志
  _fail_single_task     失败/取消统一收尾(原三处 × 9 行 → 一处)

复杂度(同口径 AST 实测,HEAD 与工作区由同一脚本测出):
  _single_download_worker  177 行 / 圈 36 / 嵌套 5  →  43 行 / 圈 8 / 嵌套 2
  文件最大圈复杂度           36(就是它)             →  9(_single_progress_cb,
                                                          节流回调本身的形状)
  文件行数 234 → 310(+76,全是新签名与 docstring)· 函数数 3 → 11

等价性证据(三道,互相独立):
1. 19 例行为契约测试**在未改动的原始实现上一次性全绿**(先写测试、后动代码;
   改完再跑仍全绿)——这批测试因此忠实编码了旧行为,构成等价性验证,而不是
   「照着新实现写的断言」。断言只依赖任务终态 / 磁盘文件 / ZIP 内容 / 账本行 /
   余额,不引用任何内部函数名,可跨后续重构复用。
2. 反向注入验证:把 HEAD 版注入回 services.downloads(**sys.modules 与父包属性
   两处都要挂**——否则 monkeypatch.resolve 走 getattr 父包拿到真模块),同一套
   19 例**全过**,与第 1 条相互独立地再次证明测试忠实。
3. AST 字面量多重集比对 + 逐条位置归因:字符串 69 种**一个不少**——没有一条
   用户可见文案被动过。数值差异全部归因:
     0    4→2:三处 ledger_settle(task_id, 0, ...) 收敛成一处(理由参数化)
     True 5→4:三处 rmtree(..., ignore_errors=True) 收敛成一处(另 +1 为新增
               dataclass 的 frozen=True)
     '任务已取消' 5→3:三处 raise DownloadCanceled 收敛进 _abort_if_canceled

刻意保留的语义(是决定,不是疏漏):
- task_dir_path 仍在 try 外初始化、失败收尾仍用它判空——「下载未开始就失败」
  时无目录可删,语义原样。
- 结算失败**不**把 done 改标 error(钱由重启对账兜底,宁可商家小损不坑用户),
  已用 test_settle_failure_does_not_flip_done_to_error 固化。
- 末段「已终态不得覆盖为 done」的状态检查与取消检查合流进 _publish_single_task,
  仍是先到先得;用 test_terminal_state_not_overwritten_by_late_success 固化。
- 日志调用移到各自 except 分支开头(原在收尾之后),仅调整同一分支内的顺序,
  不影响任何可观察行为;三处格式串原样保留。
- music_id 保持**原样透传**:params 里是数字字符串,而下游签名声明 int,两侧
  一直不一致、运行时靠字符串参与上游查询拼装而正常工作。顺手 int() 会把异常面
  从「上游查不到」变成 ValueError,属行为变更,故只把标注写成 Any 并在
  docstring 记明。

测试:新增 tests/test_single_worker.py(19 例)——正常交付与交付副本位置、
ZIP 四件套与 SRT 歌词、空歌词跳过、取封面失败仍发布、文件名格式、操作记录与
remote_ip 兜底、下载失败退费、未知异常泛化文案(上游细节不外泄)、下载中/下载
后/打包中三种取消、终态不被覆盖、进度回调三态(有总量 / 无总量 / 自身抛错)、
结算失败不影响已交付、worker 崩在结算前留给对账兜底。

顺带修正一处自己的假设错误:最初把「取封面失败」写成 fetch_cover_bytes 抛异常,
实测该函数契约是**失败返回 None**(内部已 except Exception),抛异常是不存在的
形状——改为注入 None 后才在旧实现上跑绿。测试要贴合生产的真实形状。

验证:ruff 全过 · pyright 0/0 · pytest 294 passed(275→294)· 生产 data/ 未被
触碰(全部用例走 tmp_path 沙箱)。
2026-09-27 09:03:05 +08:00