Archived
snowy-yang
e8cc7cb34a
为什么：文件 IO 这条线上 to_thread 用得过宽。凡是「单文件 exists / unlink / stat」 这类微秒级元数据操作，线程调度开销（几十微秒起）比操作本身还大，套 to_thread 只是 给同步调用加了层异步外壳，不产生任何并发收益；真正需要卸载的是整库复制、ZIP 整段 拷贝、SQLite 探测这类活。本批按这个口径把两端都摆正，并顺手修掉一处真实缺陷。 改动： - web/routers/admin_site.py 备份上传：原 `content = await f.read()` 会把整库一次性 读进内存（端点对外无大小上限，等于给了上传方一个内存放大器），落盘后还要把文件 重新打开读一次头。改为 _save_upload_stream 按 1 MiB 逐块搬运——内存占用恒为一块， 文件头在写第一块时就地截获（省掉那趟回读）。仍属阻塞 IO，故保留在 to_thread 里。 - web/routers/admin_site.py backup_list：撤掉仅为一次 stat 而拆出的嵌套函数 + to_thread，直接在事件循环里做完。 - web/routers/admin.py：save_cookie / logout / _get_cookie_info 四处 to_thread 改 直接调用——它们读写 1KB 级的 cookie.txt，全程不碰网络。 - music_api/qr_client.py：logout() 的 print 改 logger。该方法既被 CLI 也被 admin 端点调用，在 web 语境里 print 会把内容直接喷到服务端 stdout，绕过 logging 配置、 无法被收集，也污染容器日志。 - auth_system/backup.py：三处单文件 unlink（占位文件回滚、删备份、裁剪 pre_restore_） 改直接同步；把只为配合 to_thread 而拆出的 _backup_path_sync 并回 backup_path。 保留在线程里的：整库 copy2 / os.replace、glob + N 次 stat、SQLite 探测、以及持 跨线程锁的 _reserve_backup_path（内联会让事件循环等一把别的线程可能持有的锁）。 - web/routers/delivery.py：两处 os.path.exists 改直接同步（带 ASYNC240 行内豁免， 与 core/db.py、auth_system/db.py 同一写法），顺带删掉随之未使用的 asyncio 导入。 - pyproject.toml / uv.lock：移除 aiofiles。它全仓零引用，且底层同样是 to_thread—— 对 1KB 的 cookie 文件不会带来任何真异步收益。 验证： - uv run ruff check . → All checks passed! - uv run pyright → 0 errors, 0 warnings, 0 informations - uv run pytest → 392 项，0 失败 / 0 error / 0 skipped （含 test_admin_backup_upload 四条：接受真实 SQLite / 缺字段拒 / 后缀拒 / 后缀对但内容非库必须拒且不留半成品） - data/site.db sha256 前后一致（a19f5dbf…6487），无 -wal/-shm 残留
127 lines
5.6 KiB
TOML
127 lines
5.6 KiB
TOML
# -*- coding: utf-8 -*-
|
||
[project]
|
||
name = "yunmusic-assistant"
|
||
version = "3.0.0"
|
||
description = "云村小助手 · 网易云音乐解析/下载服务（FastAPI + asyncio + aiohttp）"
|
||
requires-python = ">=3.12"
|
||
dependencies = [
|
||
"fastapi>=0.115,<1.0",
|
||
"uvicorn[standard]>=0.30,<1.0",
|
||
"aiohttp>=3.10,<4.0",
|
||
"aiosqlite>=0.20,<1.0",
|
||
"itsdangerous>=2.2,<3.0",
|
||
"cryptography>=50.0,<51.0",
|
||
"qrcode>=7.0,<8.3",
|
||
"python-multipart>=0.0.9",
|
||
"filetype>=1.2.0",
|
||
"mutagen>=1.48.1",
|
||
]
|
||
|
||
[dependency-groups]
|
||
dev = [
|
||
"pytest>=8.0",
|
||
"pytest-asyncio>=0.24",
|
||
"ruff>=0.6",
|
||
"pyright>=1.1.390",
|
||
"httpx>=0.27",
|
||
"httpx2>=2.13.1",
|
||
]
|
||
|
||
# 应用工程（非库）：不把自身装进环境，避免 uv 扫描顶层模块
|
||
[tool.uv]
|
||
package = false
|
||
|
||
# ============ Ruff：静态检查 + 导入排序 + 格式化 ============
|
||
[tool.ruff]
|
||
target-version = "py312"
|
||
line-length = 120
|
||
extend-exclude = [".venv", ".zcode", "templates", "static", "frontend", "data"]
|
||
|
||
[tool.ruff.lint]
|
||
# E/F 基础错误、I 导入排序、B bugbear、UP 升级、C4 推导式、ASYNC 异步陷阱、S 安全、RUF
|
||
select = ["E", "F", "W", "I", "B", "UP", "C4", "ASYNC", "S", "RUF"]
|
||
ignore = [
|
||
"E501", # 行宽交给 formatter，不强制
|
||
"S101", # 生产代码外的 assert（测试/断言脚本）
|
||
"S104", # 绑定 0.0.0.0（服务端有意为之）
|
||
"S110", # try/except/pass（本项目「失败静默降级」策略）
|
||
"S112", # try/except/continue
|
||
"S324", # hashlib.md5 用于非安全场景（上游签名口径）
|
||
"S603", "S607", # subprocess（打包/运维脚本）
|
||
"UP009", # 保留 `# -*- coding: utf-8 -*-` 文件头（全项目既有约定）
|
||
"RUF001", "RUF002", "RUF003", # 全角字符（中文注释/文案，误报）
|
||
# ---- 以下为「有意保留」，已被逐条论证为协议/设计约束，非待修缺陷 ----
|
||
"RUF012", # 常量类可变默认值：APIConstants/PodcastConstants 是常量表，非实例状态
|
||
"S305", # AES-ECB：网易云 weapi 协议**要求**的加密模式，非可自由选择
|
||
"S311", # randrange：生成上游 requestId（协议随机数），非安全用途
|
||
"ASYNC250", # input()：music_api.qr_client 交互式 CLI 的人类输入，异步化无意义
|
||
"S310", # urllib：仅用于音频 Range 代理的 URL 校验路径
|
||
]
|
||
|
||
[tool.ruff.lint.per-file-ignores]
|
||
"tests/**" = ["S", "ASYNC"]
|
||
".zcode/**" = ["S", "ASYNC", "F"]
|
||
# ASYNC109：timeout 参数是有意 API——直接转发给 aiohttp 的 ClientTimeout，
|
||
# 不是「用 sleep 当超时」的反模式。
|
||
"core/http_client.py" = ["ASYNC109"]
|
||
# ASYNC109：timeout 是**总下载时限**（交给 aria2 轮询循环判定），不是「用 sleep 当超时」。
|
||
# ASYNC240：搬迁后才出现的阻塞文件操作只有 unlink（删残片/控制文件）——目录项删除，
|
||
# 微秒级且不碰网络，卸载到线程的调度开销大于操作本身，与 downloader.py 同口径。
|
||
"music_downloader/_aria2.py" = ["ASYNC109", "ASYNC240"]
|
||
# ASYNC230/240：残留的阻塞文件系统调用都是**本地元数据/短写**——exists()/stat()/
|
||
# os.replace()/往 .part 顺序写分块，微秒级且不碰网络，卸载到线程的调度开销大于操作
|
||
# 本身。真正的重活（mutagen 全量重写标签、zipfile 整段拷贝、shutil.rmtree、同步
|
||
# SQLite 落库）都已各自 to_thread 卸载；aria2 的 RPC 已改为手写原生异步实现
|
||
# （music_downloader/_aria2.py），不再是阻塞调用。
|
||
"music_downloader/downloader.py" = ["ASYNC230", "ASYNC240"]
|
||
"services/podcast.py" = ["ASYNC230", "ASYNC240"]
|
||
"services/batch.py" = ["ASYNC240"]
|
||
# ASYNC110：暂停闸门轮询的是**跨线程**置位的 threading.Event 与任务表状态——置位方
|
||
# 在请求线程/监控线程，不属于本事件循环，故不能用 asyncio.Event 取代（见 _taskcore
|
||
# 模块 docstring 的取消/暂停载体说明）。
|
||
"services/_taskcore.py" = ["ASYNC110"]
|
||
|
||
[tool.ruff.lint.isort]
|
||
known-first-party = ["core", "web", "services", "music_api", "auth_system", "music_downloader"]
|
||
|
||
[tool.ruff.format]
|
||
quote-style = "preserve"
|
||
|
||
# ============ Pyright：类型检查 ============
|
||
[tool.pyright]
|
||
# 全量纳入（Flask 巨石删除后不再有例外清单）
|
||
# 顶层模块与 tests 此前不在名单里——「pyright 0 错误」只覆盖了 core/web/services，
|
||
# 而早期 requests→aiohttp 迁移的遗留恰好全部躲在漏检的顶层模块中，故补齐。
|
||
include = [
|
||
"core",
|
||
"web",
|
||
"services",
|
||
"tests",
|
||
"music_api",
|
||
"auth_system",
|
||
"music_downloader",
|
||
"_mkpkg.py",
|
||
]
|
||
exclude = [".venv", ".zcode", "data", "downloads", "templates", "static", "frontend"]
|
||
venvPath = "."
|
||
venv = ".venv"
|
||
pythonVersion = "3.12"
|
||
typeCheckingMode = "standard"
|
||
reportMissingImports = true
|
||
# standard 比 basic 多出「变量可能未绑定 / 实参类型不符 / 无意义重定义 / 未使用符号」
|
||
# 等**可执行缺陷**（basic 全部漏报，实测 standard 多报 7 处真实缺陷），
|
||
# 故作为门禁级别；strict 的 reportUnknown* 需要给全部第三方库补存根，暂不启用。
|
||
# 以下三项在 standard 下已由类型系统覆盖，降为 warning 以避免第三方存根不全的噪声
|
||
reportOptionalMemberAccess = "warning"
|
||
reportAttributeAccessIssue = "warning"
|
||
|
||
# ============ Pytest ============
|
||
[tool.pytest.ini_options]
|
||
asyncio_mode = "auto"
|
||
testpaths = ["tests"]
|
||
addopts = "-q"
|
||
# 本工程不装进环境（package = false），且 tests/ 无 __init__.py，
|
||
# 故必须显式把项目根加入 import 路径——否则裸跑 `pytest` 时
|
||
# `import core` 必然 ModuleNotFoundError（只有 `python -m pytest` 才碰巧能用）。
|
||
pythonpath = ["."]
|