hhhge/NeteaseUrl
Archived
1
0 Fork 0
Code Issues Actions Packages Projects Releases Wiki Activity
74 Commits 1 Branch 0 Tags
65adfc9089f9ff065f0d60ed30db392d16996dee
Commit Graph
74 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
snowy-yang f5d1e3c3a9 feat: 支持纯 FastAPI 模式（根路径服务前端）+ 修任务端点路径 
- web/app.py：create_app(api_prefix=) 参数化前缀——'' 即根路径模式，
  87 条路由直接服务前端使用的路径，无需 Flask 兜底
- web/main.py：WEB_MODE=dual（默认，迁移期）/ fastapi（纯 FastAPI）切换
- 修真实路径缺陷：任务类端点漏了 /api 段（Flask 为 /api/topen 等，
  原写成 /topen），根路径模式下前端会 404。已改为 /api/topen、/api/queue、
  /api/batch_progress、/api/task/*；fe_error 同步修正
- 奇偶校验路径映射同步更新

验证：
- tests/test_root_mode.py 新增 66 项：前端调用的每条路径在纯 FastAPI 模式下
  均非 404；root 模式不再暴露 /api/v1
- 纯 FastAPI 模式真实启动（uvicorn, PORT=5002）实测：
  /health、/、/static 200，/song、/api/task/list 401（鉴权生效）
- 全套 pytest 135/135；ruff All checks passed；pyright 0 errors；奇偶 36/36
 2026-09-26 10:25:05 +08:00
snowy-yang cd0f1f78a3 refactor: 迁移收尾（管理员2FA）+ 抽取公共工具层，消除 router 间重复 
补齐最后缺口：
- POST /api/v1/auth/admin_login/email、/auth/admin_login/verify（管理员 2FA Step2/3），
  复用 auth_routes 的票据表与尝试上限（跨栈共享），签发会话 Cookie

重构（消除约 200 行重复，11 个 router 受益）：
- web/request_utils.py：request_data / safe_int / extract_id / cookies / dedup_ids
  原在各 router 各复制一份，现集中
- web/serializers.py：format_credits / user_public / record_req_log
- 各 router 改为导入别名，行为逐字不变

覆盖率：Flask 90 条业务路由全部有 FastAPI 等价端点（含 5 个向后兼容别名）。
验证：pytest 69/69；ruff All checks passed；pyright 0 errors；奇偶 36/36；冒烟 10/10。
 2026-09-26 10:20:46 +08:00
snowy-yang 9df0028195 feat(routes): 迁移下载/批量打包/播客下载（账本事务）+ 修密钥绑定缺陷 
迁移端点：
- POST /api/v1/download（单曲：file 后台任务 / json 同步交付+结算）
- POST /api/v1/download/batch_zip（按去重歌曲数计费）
- POST /api/v1/podcast/download、/podcast/download/batch_zip
- 新增 web/billing.py（预扣+开账同事务 / 只退 open 行 / rename 承接）
  与 web/tasks_registry.py（任务登记/容量闸/账本撞名重试，与 main 同口径）
- worker 仍复用 main 既有实现（无 flask 依赖），账本与交付语义不变

修复我引入的真实缺陷：
- download 参数校验分支（ID/音质/格式非法）漏退款 → 预扣泄漏。改为统一 _fail() 退款
- web/routers/{auth,register}.py 在导入期绑定 deps.secret_key，导致 patch web.deps.secret_key
  无效、且测试顺序相关。改为调用期 deps.secret_key() 解析

测试：tests/test_download_billing.py 7 项沙箱用例如实断言账本守恒
（预扣必退、无 open 行残留、次数不足不建任务）；
全套 pytest 69/69（顺序无关）；ruff All checks passed；pyright 0 errors；奇偶 36/36。
 2026-09-26 10:13:16 +08:00
snowy-yang fb40b2132c feat(routes): 迁移管理后台全部 /admin/site/* 端点（28 个） 
- web/routers/admin_site.py：用户管理(users/delete/duration/create/
  reset_password/toggle/ban/cookie)、SMTP(get/save/test)、日志(logs/clear)、
  卡密(generate/list/disable/delete)、公告(get/save)、播放密钥(get/rotate)、
  数据库备份(create/list/download/upload/restore/delete/auto)
- 全量经 asyncio.to_thread 调用 auth_system 同步函数（SQLite/SMTP/文件），不阻塞事件循环
- 操作者名取当前管理员用户名；管理员闸 403 带 error_code='forbidden'（与 admin_required 同）

验证：11 项代表性端点与 Flask 逐字段一致（含参数校验与错误文案）；
非管理员 403 一致；pytest 62/62；ruff All checks passed；pyright 0 errors。
 2026-09-26 10:02:24 +08:00
snowy-yang 915358405c feat(routes): 迁移注册/找回密码/卡密/验证码端点 
- web/routers/register.py：auth/send_code、auth/register、auth/trial、
  auth/redeem、auth/forgot_password
- 同步调用（SQLite 事务/SMTP/PBKDF2）走 asyncio.to_thread；发码 IP 限流复用
  auth_routes._SEND_CODE_IP（跨栈共享计数）
- 注册成功路径签发会话 Cookie；管理员找回密码仍防枚举拦截

测试：tests/test_register.py 6 项沙箱用例（播种验证码绕 SMTP）——
协议门槛、注册成功建号+赠送+会话可用、验证码错误、找回重置后可登录、
管理员找回被拦、卡密充值。
全套：pytest 62/62；ruff All checks passed；pyright 0 errors；冒烟 10/10。
 2026-09-26 10:00:39 +08:00
snowy-yang 22f4d77abd feat(routes): 迁移管理员扫码/Cookie/操作记录端点 
- web/routers/admin.py：admin/qr/create、admin/qr/check、admin/cookie/status、
  admin/cookie/delete、admin/logs
- 管理员闸用本地实现，文案与「无 error_code」包体与 Flask _verify_admin_password
  逐字对齐（与 auth_system.admin_required 的 forbidden 字段不同）
- QRLoginManager await；文件类操作(save_cookie/logout/_get_cookie_info) 走 to_thread
- Cookie 变更后同步清 VIP 与全局 MUSIC_U 缓存

契约奇偶校验：36 项全 OK（新增 admin:logs、admin:cookie_status、非管理员 403）；
ruff All checks passed；pyright 0 errors；冒烟 10/10。
 2026-09-26 09:59:04 +08:00
snowy-yang b7616e9831 feat(routes): 迁移个人中心/公开播放/前端错误端点 + 修 QR 异步回归 
迁移（/api/v1/*，与 Flask 逐字段对齐）：
- user/qr/create、user/qr/check、user/status、user/logout、user/playlists、
  user/playlist、user/collect、user/comment
- api/playlist/play（密钥校验 + 逐曲直链解析：ThreadPoolExecutor(4) → asyncio.gather(4)）
- fe_error（前端错误上报，10/分/IP + 字段清洗）

修复我此前引入的异步回归（重要）：
- music_api.QRLoginManager 异步化后，main.py 4 处 Flask 同步路由仍当同步调用，
  返回协程 → Flask 侧扫码登录必坏。已改经 run_sync 桥接，实测两栈均返回 SVG。
- web/routers/user.py 同样改为 await。

契约奇偶校验：33 项（新增 user:status/logout/playlists401/playlist401/play:badkey）；
ruff All checks passed；pyright 0 errors；冒烟 10/10。
 2026-09-26 09:57:42 +08:00
snowy-yang 91c032a1c3 feat(routes): 迁移认证端点（login/logout/heartbeat/ann_seen） 
- web/routers/auth.py
  · login：邮箱/用户名登录、超长密码短路、失败锁定、封禁/禁用分支、
    管理员转 2FA 票据；成功签发 core.session 会话 Cookie（与 Flask 同格式）
  · logout：递增 login_seq 顶号 + 删 Cookie
  · heartbeat：次数校验（401/expired 语义同 Flask）
  · ann_seen：记录已读公告版本
  · 失败锁定与 2FA 票据表复用 auth_routes 模块级状态（跨栈共享，防绕锁定）
  · PBKDF2 与库操作走 asyncio.to_thread，不阻塞事件循环

测试：tests/test_auth_routes.py 5 项，全部使用**沙箱库**（pytest tmp_path +
monkeypatch auth_system/core.db 路径），不触碰生产 data/site.db。
全套：pytest 56/56；ruff All checks passed；pyright 0 errors；奇偶校验 28/28。
 2026-09-26 09:54:14 +08:00
snowy-yang 18c77296c2 feat(routes): 迁移首页/静态资源 + /auth/me 认证状态 
- web/routers/index.py：GET / 首页，用 Jinja2 以 Flask 同口径渲染
  （keep_trailing_newline=False）——输出与 Flask render_template 逐字节一致
- web/app.py：挂载 /static 静态资源（site_auth.js 等，与 Flask 同目录）
- web/routers/auth_status.py：/api/v1/auth/me 认证状态
  · user/duration_text/announcement/smtp_configured/register_credits 逐字段对齐
- core/repo.py：补 get_announcement / get_smtp_config / smtp_configured 异步读

契约奇偶校验：28 项全 OK（新增 index 逐字节、auth:me）；
验证：pytest 51/51；ruff All checks passed；pyright 0 errors；
uvicorn 实跑 / 与 /static 与 /api/v1/* 均 200。
 2026-09-26 09:51:32 +08:00
snowy-yang 0104ae55e5 feat(routes): 迁移音频流代理与结果交付端点（流式） 
- web/routers/stream.py：/api/v1/audio_stream 音频范围流代理
  · 签名校验（core.security，密钥同源两栈互认）；HEAD 直接 200 不请求上游
  · Range 原样透传上游（206 + Content-Range，拖动进度可用）
  · 编码透明：上游带 Content-Encoding 时不沿用压缩前长度（同 Flask F92）
  · StreamingResponse 16KB 分块，finally 关闭上游（下游中断亦释放）
- core/http_client.py 增 open()：返回未关闭流式响应，便于先读状态码再转发
- web/routers/delivery.py：/download/result、/download/batch_zip/result
  · 归属 403 / 进行中 202 / 暂停 200 / 取消 200 / 失败 500 / 缺失 404 分支逐一对齐
  · FileResponse 流式交付 + no-store + X-Download-Filename；清理由监控线程统一回收

验证：pytest 51/51（新增 5 项流代理：无效 token/HEAD/全量/Range 透传/上游关闭）；
ruff All checks passed；pyright 0 errors；奇偶校验 26/26；实测 5.2MB 流与
Range 206 正确。
 2026-09-26 09:49:22 +08:00
snowy-yang f588d313f0 feat(routes): 迁移任务状态端点（topen/queue/batch_progress/task/*） 
- web/routers/tasks.py：topen、queue、batch_progress、task/cancel、
  task/heartbeat、task/list 迁至 /api/v1/*
- 读写 core.state 共享任务表/统计（与 Flask 同一批对象）——两栈迁移期看到同一份
  任务状态，这是单进程双框架成立的关键
- task/cancel 保持 POST-only（与 Flask 同口径，杜绝顶层导航 GET 触发取消）

契约奇偶校验：24 项全 OK（新增 queue/topen/task:list/heartbeat/progress404）；
验证：pytest 46/46；ruff All checks passed；pyright 0 errors；冒烟 10/10。
 2026-09-26 01:18:51 +08:00
snowy-yang f45a9ccd3a feat(routes): 迁移播客查询端点（parse/programs/search/hot） 
- web/routers/podcast.py：四个播客端点迁至 /api/v1/*，与 Flask 逐字段对齐
- podcast_api 仍为同步模块，用 asyncio.to_thread 包装：阻塞上游不占事件循环，
  行为与 Flask 一致
- 单集解析附音频直链（音质自动降级）+ 解析操作记共享 REQ_LOG

契约奇偶校验：19 项全 OK（新增 podcast hot/search/programs）；
play_count 加入易变字段（上游实时收听计数每次请求都变，非契约漂移）。

验证：pytest 46/46；ruff All checks passed；pyright 0 errors；冒烟 10/10。
 2026-09-26 01:16:53 +08:00
snowy-yang 6c3181341b feat(routes): 迁移账号/全局歌单端点 + 鉴权依赖测试 
迁移路由（/api/v1/*，与 Flask 同端点逐字段对齐）：
- account/vip：admin/user 双路径 + 5 分钟缓存（降级结果 30s），
  VIP 探测单飞锁与 Flask 同源跨栈共享；未登录可访问（同 Flask）
- global/playlists、global/playlist：管理员闸（require_admin，403 对齐）
- web/deps.py 新增 require_admin；_resolve_user_cookies 支持可选用户（匿名审计保底）

测试：46/46（新增 10 项鉴权依赖：有效/管理员/封禁/禁用/顶号/伪造 Cookie、
401/403 闸）；ruff All checks passed；pyright 0 errors。

契约奇偶校验：16 项全 OK（新增 account:vip、global:playlists/playlist、
非管理员 403）；uvicorn 实跑双栈 account/vip 均 200、未授权歌单 403。
 2026-09-26 01:15:22 +08:00
snowy-yang a2758aa0da feat(routes): 迁移解析端点 /song /playlist /album + 响应卫生中间件 
迁移路由（/api/v1/*，与 Flask 同端点逐字段对齐）：
- song（type: url/name/lyric/json）、playlist、album
  个人账号路径实现全局账号冒用拦截（同 Flask 口径）；json 模式 asyncio.gather 并发
  song/url/lyric（歌词失败不阻断，与 Flask 线程池语义一致）
- core/media.py：format_file_size/quality_display_name/parse_cookie_str 纯函数复用

web/middleware.py（镜像 Flask after_request）：
- 音频直链 → HMAC 签名代理地址（密钥同源，两栈 token 互认）
- 安全头 nosniff/DENY/Referrer-Policy/CSP 基线；Server 抹为 NeteaseUrl；429 带 Retry-After
- 纯 ASGI 逐段转发（不破坏流式下载）；JSON 200 延迟 start 并**重算 Content-Length**
  ——修实测 IncompleteRead（原实现转发旧长度 + 新 body）

契约奇偶校验：12 项全 OK（新增 album/playlist/song×3）；
token/CDN 主机归一化（均为易变值，非契约漂移）。

验证：pytest 36/36；ruff All checks passed；pyright 0 errors；
uvicorn 实跑 /api/v1/song 直链已代理、CSP/Server 头正确。
 2026-09-26 01:12:54 +08:00
snowy-yang 2c55b55e03 feat(routes): 迁移查询类路由到 FastAPI + 会话互通 + 统一错误/限流 
会话互通（迁移关键）：
- core/session.py：itsdangerous 兼容的签名 Cookie 编解码（同密钥/同 salt/同
  时间戳编码），Flask 与 FastAPI 双向可读——实测 F->core 与 core->F 双向解出一致，
  篡改/错密钥返回 None

FastAPI 基础设施：
- web/deps.py    会话→当前用户（封禁/顶号校验，口径同 auth_system.current_user）
- web/errors.py  AppError + 全局异常处理，404/405/400 统一为本站包体
- web/ratelimit.py 复用 core.state 同一批限流桶（跨栈共享，避免绕框架绕过限流）
- core/repo.py  补 get_user_by_id（异步）

迁移路由（/api/v1/*，与 Flask 同端点逐字段对齐）：
- toplist / artist_songs / comments / search，走 music_api 异步方法
- search 的服务器昵称遮蔽改为 FastAPI 侧异步实现（不再依赖 main）

契约奇偶校验：扩展至 7 项（含登录会话互通 + 未登录 401），全 OK；
CDN 分片主机差异归一化（上游易变值，非契约漂移）。

验证：pytest 33/33；ruff All checks passed；pyright 0 errors；
uvicorn 实跑未登录 401 包体与 Flask 一致。
 2026-09-26 01:09:01 +08:00
snowy-yang c77ef40fd5 feat(db): 同步栈读写并发（_q 去锁）+ core.db 并发/跨loop 修复 
auth_system._q：单语句读不再持 _DB_LOCK —— WAL 下每连接读一致性快照，
读写互不阻塞；旧实现把全部读也串行化且被写挡住。写事务（_x 与 24 个
with _DB_LOCK 块，经扫描均为写事务）仍全程串行，无写-写竞争。

core.db 并发修复（由测试暴露的真实缺陷）：
- WAL 切换竞态：并发连接同时执行 PRAGMA journal_mode=WAL 争排他锁
  → 专用锁内串行切换 + 二次复查（busy_timeout 前置）
- 跨事件循环锁：模块级 asyncio.Lock 绑定首个 loop，多 loop 场景报
  "bound to a different event loop" → 锁按 loop 隔离

测试：25/25 通过（新增「读不被写锁阻塞」红转绿、读+同步写者并发 WAL、
异步并发读）；
lint: ruff All checks passed；pyright 0 errors。
验收：冒烟 10/10、奇偶校验 2/2、uvicorn 真实启动 Flask 兜底+FastAPI 双通。
 2026-09-26 01:03:18 +08:00
snowy-yang 52ed8b54fb feat(server): 生产服务器切换 uvicorn（FastAPI + Flask 兜底） 
- web/main.py：uvicorn 入口，默认开启 Flask 兜底（未迁移路由回落遗留应用）；
  HOST/PORT/LOG_LEVEL 环境变量可配；proxy_headers 按 XFF 取真实 IP（仅信回环）；
  server_header=False 抹服务器指纹
- entrypoint.sh：默认 exec web/main.py；WEB_STACK=flask 可应急回退旧入口
- Dockerfile：安装 requirements-fastapi.txt（目标栈）+ requirements.txt（Flask 兜底）

验证（单进程双框架实跑）：/health、/（Flask 兜底）与 /api/v1/site/stats（FastAPI）
均 200；Server 头为 NeteaseUrl；ruff/pyright 干净。
 2026-09-26 00:35:02 +08:00
snowy-yang 0f2e72db44 feat(db-async): 站点数据异步读写仓储 + FastAPI 生命周期 
- core/repo.py：经由 core.db(aiosqlite) 读写 auth_system 的**同一份** site.db
  （settings/announcements/users 只读/ledger 只读），字段口径对齐 auth_system；
  读并发、写串行、WAL 读写同时进行
- web/routers/site.py：/api/v1/site/announcements、/api/v1/site/stats（异步多表并发读）
- web/app.py：lifespan 关闭时释放 aiohttp 连接池（含按 loop 隔离的 session）

写路径说明：迁移期写操作仍归 auth_system 的 _DB_LOCK 事务口径，避免两套写
路径互相踩踏；本层先只做读。

验证：pytest 22/22（新增 6 项含「异步读 + 同步写者并发 WAL」）；
/api/v1/site/* 实测读到共享库（3 用户/1 管理员）；ruff/pyright 干净。
 2026-09-26 00:34:11 +08:00
snowy-yang ce7ea66d6a refactor(async): music_api 异步化 + 全项目 lint 收敛 
music_api.py：
- 22 个方法改 async（HTTPClient.post_request*/NeteaseAPI.*/QRLoginManager.*），
  33 处 requests.* → await core.aiohttp_compat.*
- 16 个模块级同步包装改走 run_sync 桥（main.py 等 99 个同步调用点零改动）
- async 内 time.sleep → asyncio.sleep（修 7 处阻塞事件循环）

musica_downloader/qr_login：
- 单曲三请求 ThreadPoolExecutor → asyncio.gather（语义等价，失败处理保留）
- interactive_login 改 async，CLI 入口用 asyncio.run

真实缺陷修复（lint 发现）：
- podcast_api._to_int 未定义（2 处调用会 NameError）→ 补安全转换 helper
- main.py VALID_QUALITY_LEVELS 重复定义（覆盖 core.config 导入值）→ 移除
- 移除死代码变量（salt×2/device_id×3/file_path/zipped_files）

lint 收敛：524→0（ruff All checks passed）；pyright 0 errors。
pyproject 记录「有意保留」项（B904/RUF012/S305 上游协议等）及理由。

验证：冒烟 10/10；pytest 16/16；真实上游 get_toplist 异步直调与桥接均得 63 条。
 2026-09-26 00:32:45 +08:00
snowy-yang 4962542e78 feat(core): requests 兼容异步垫片 + 同步/异步桥 
- core/aiohttp_compat.py：以 requests 同形 API（post/get + Response.json/text/
  status_code/raise_for_status + HTTPError/RequestException/Timeout）实现异步请求，
  使既有 requests 风格代码可「加 await + async def」最小改动迁移；4xx/5xx 不抛、
  仅 raise_for_status() 抛（与 requests 语义一致，保住风控判断逻辑）
- core/async_bridge.py：run_sync(coro) 经常驻后台事件循环线程执行协程并阻塞等待，
  供迁移期同步调用方（遗留 Flask 路由/线程池）复用异步实现

验证：pytest 16/16；ruff All checks passed；pyright 0 errors。
 2026-09-26 00:27:47 +08:00
snowy-yang 9f56f68b66 chore(async-infra): 异步基础层 + 工具链 + 清理 
异步基础层（core/）：
- db.py   aiosqlite + WAL：读路径无锁并发、写路径 asyncio.Lock 串行，
          busy_timeout 自旋——实现「读写同时进行」（旧实现用 RLock 全读串行）
- http_client.py  aiohttp 连接池 + 有界重试（5xx 重试 / 4xx 不重试）+
          响应体上限 + 流式接口；按事件循环隔离 session（支持迁移期双 loop）

工具链：
- pyproject.toml   ruff(E/F/W/I/B/UP/C4/ASYNC/S/RUF) + pyright(basic) + pytest(asyncio auto)
- requirements-fastapi.txt  FastAPI/aiohttp/aiosqlite/aiofiles 等目标栈
- requirements-dev.txt      开发依赖（pytest/ruff/pyright）

清理：删除无用脚本 _csscheck.py 与产物标记 _css_ok.txt/_pkg_ok.txt，同步 .gitignore

验证：pytest 10/10（含「写 200 条同时 4 读协程零异常」并发用例）；
ruff All checks passed；pyright 0 errors。
 2026-09-26 00:24:00 +08:00
snowy-yang 41356e89c4 feat(web): FastAPI 脚手架（strangler 迁移起点） 
新增 web/ 包，与 Flask 应用并存、共享 core/：
- web/app.py     create_app 工厂；已迁移路由挂 /api/v1，可挂遗留 Flask 兜底
- web/main.py    uvicorn 入口（sys.path 补项目根）
- web/response.py 响应工具，与 Flask APIResponse 的 JSON 契约逐字段对齐
- web/routers/system.py 迁移样板：/api/v1/health、/api/v1/api/info
- requirements-fastapi.txt 迁移目标依赖（不影响当前生产 Flask 部署）

验证：
- 奇偶校验（.zcode/refactor/parity.py）Flask /health vs FastAPI /api/v1/health、
  /api/info vs /api/v1/api/info —— 状态码/顶层键/响应体全一致
- uvicorn 真实启动 200；Flask fallback 挂载下 /api/v1/* 走 FastAPI、/* 走 Flask 同为 200

当前仅样板端点；生产服务器切换与状态统一见后续迁移阶段。
 2026-09-26 00:17:56 +08:00
snowy-yang c2a8da3e43 refactor(core): 抽出框架无关核心层 core/，为 FastAPI 迁移铺路 
第一步模块拆分（纯搬运，零行为变化）：
- 新增 core/ 包：config(常量/配置) + state(运行时状态) + utils(纯函数) + security(音频签名)
- main.py 改为从 core 导入并以原下划线名再导出，250+ 既有调用点零改动

关键设计：
- 状态全部原地修改，import 即共享同一对象（21 项身份断言 + 10 项冒烟全绿）
- 音频签名密钥由启动时 _init_audio_secret(app.secret_key) 注入，
  解除 core.security 对 Flask app 的依赖，新老应用可互认 token

验证：py_compile 通过；冒烟 10/10 PASS；对象身份 22/22 PASS；
waitress 真实启动 /health 200 version=2.4.0。main.py 减 229 行。
 2026-09-26 00:16:04 +08:00
snowy-yang d209af847a chore: 基线快照 —— 纳入 git 版本控制（站点 v2.4.0 / Flask 单体） 
在框架迁移与模块拆分前保存当前可运行状态：
- 后端：main.py/auth_routes.py/auth_system.py/music_api.py/music_downloader.py/podcast_api.py/qr_login.py
- 前端：templates/index.html + static/site_auth.js
- 部署：Dockerfile/docker-compose.yml/entrypoint.sh/requirements.txt
敏感数据(data/、cookie.txt)与内部文档(交接文档/新会话引导)按 .gitignore 排除。
 2026-09-26 00:13:05 +08:00