Skip to content

feat: collaboration and history - #333

Open
alan16742 wants to merge 24 commits into
hesprs:mainfrom
alan16742:main
Open

alan16742 wants to merge 24 commits into
hesprs:mainfrom
alan16742:main

Conversation

@alan16742

Copy link
Copy Markdown
Contributor

Note

此 PR 仅为相关的思路讨论,等待主支实现后自行关闭

在阅读了 wishlist 后看到了实时同步的思路觉得很惊艳,于是自行先用 AI 搓了一版,期间遇见了一些架构上的思路和一些小问题探讨一下,方便后续能够避免

问题:

  1. S3 的 bucket 不会自动为库名可能为空,可以参照 WEBDAV 的实现自动填入库名,而不是需要用户手动填入
  2. 相关平台的识别函数目前没有,本 PR 放在了 collaboration,将来实现可以放在 shared 中
  3. 现有的手机端必须使用命令同步不太方便,于是 collaboration 中加入了相关的显示图标(后续应该是可以做点击调用的),可以在 pc 上调试时使用 this.app.emulateMobile(!this.app.isMobile); 进行切换,打开个文件就能看到,后面是否需要为不同的插件提供相关的注入图标,比如同步就是 sync,如果失败就是另一图标
  4. 相关的不同后端放在同一个文件夹比如 rclone 的代码实现就挺好的,后续如果考虑更多的后端接入还是直接列出就会显得臃肿,同时也不便于 agent 的指定读取
  5. i18n 非常割裂,我看模块的语言都是在各自范围中编写,如果直接安装比如 s3 插件就会出现通用设置是英文,s3 模块是中文类似的情况,要么考虑合并,要么就干脆拆分

本次特性:

  1. 实时同步,也就是 MQTT 的相关推送,用到 diff3 的 onp 被从 smart-merge 中抽离到了共享
  2. 历史记录,目前没有在 wishlist 里看到,需要对于远端具有侵入性。这里其实也是需要用到 冲突处理 UI 的,未来编写时候可能需要综合考量

@alan16742

Copy link
Copy Markdown
Contributor Author

关于第五点 i18n 的也许能够加个自动检测语言下载对应模块

@hesprs

hesprs commented Nov 10, 2026

Copy link
Copy Markdown
Owner

天呐,信息量好大。

关于你的问题:

  1. S3 默认根目录是 /,因为 S3 以 bucket 作为天然的二级 namespace。所以对 S3 用户来说,前缀不像 WebDAV 的 base directory 那样重要。
  2. 什么是“平台的识别函数”?
  3. 这点说得很好。从 UI 设计角度,如果你要单独加一个按钮,务必让它契合 Obsidian 的界面风格,不然会显得突兀。
  4. 这是 TypeScript monorepo 的开发 convention。Rclone 是 Go 写的 monolith,可以随意安排目录结构。
  5. 这属于边界问题,模块自带翻译是既定设计。如果插件内核的翻译包去承载模块文本,就破坏了分层边界。

接下来几天到几周我会比较忙,插件开发的推进节奏可能会放缓。

@alan16742

Copy link
Copy Markdown
Contributor Author
  1. 主要是确实有用户直接一个库一个 bucket,之前 remotely-save 这么组织,用下来也确实能够少输入
  2. https://github.com/alan16742/sync-engine/blob/be88b0390f2c66dc4795b1cc66b448e6532d09bc/packages/collaboration/src/utils.ts#L8
  3. 后面考虑到模块边界确实觉得加个探测语言自动下载对应语言模块是更优解

@hesprs

hesprs commented Nov 10, 2026

Copy link
Copy Markdown
Owner

自动下载对应语言模块

这正是 setup wizard 要实现的。

@alan16742

Copy link
Copy Markdown
Contributor Author

两个模块大体上已经完成

@alan16742

alan16742 commented Nov 12, 2026 •

Copy link
Copy Markdown
Contributor Author

在完善的过程中发现一个非常重要的问题,就是 history 这样的回收站应该放在哪里组织,希望能够讨论一下,看看有无更优方法。当前 history 内部分为 blobs, heads, packs 分别为附件、索引、文本版本改动。

当前代码使用下方组织方式,每次启动都 list 不需要的文件,history 中如果有 200 文件 * 10 版本就会很大

bucket/vault/.sync-engine-history/deviceid
bucket/vault/files/

我预想使用下面的组织方式,这样就能够只 list 比如 history 下的 index 文件夹,然后按照需要下载具体的文本

bucket/sync-engine-history/deviceid
bucket/vault/files/

@hesprs

hesprs commented Nov 13, 2026

Copy link
Copy Markdown
Owner
bucket/sync-engine-history/deviceid
bucket/vault/files/

采用这套结构有个问题需要考虑:如果用户把前缀设为 /,该方案就失效了,因为列举文件时会一并扫到 bucket/sync-engine-history。

还有一个更核心的问题:我们为什么还要自己实现历史版本?Sync Engine 本来就没计划做版本历史,它对现有架构的破坏性很强。更关键的几点:

  • Google Drive、OneDrive、Dropbox、Nextcloud WebDAV 和商用 S3 服务本身都自带版本控制;
  • 在轻量的 Obsidian 插件客户端里重新实现版本机制,相当于用 TypeScript 再造一套 Git,复杂度极高;
  • Obsidian 自带「文件恢复」核心插件;
  • 历史记录会严重拖慢同步速度,版本控制更适合放在服务端实现。

我觉得更好的方案是:开发一个原生支持版本控制的服务端,或是选用成熟的现有项目,通过 FUSE 挂载到本地文件系统。

@alan16742

alan16742 commented Nov 13, 2026 •

Copy link
Copy Markdown
Contributor Author

s3 情况下如果需要用就不建议将前缀设置为 / 。

当时考虑使用 history 的原因有以下几点:

  1. 虽然很多后端存储支持版本控制,但是不是所有后端存储都支持,各个后端的 API 也并不一致,比如 dropbox 为30天、 180 天、365天三个档次,OneDrive 则是个人版 25 个版本 30天,通过文件组织则可以统一管理到。原来考虑过相关的同步 .trash 的方法,但是会丢失原来的路径关联,并且会不断自动重命名。
  2. 复杂度在 AI 时代或许不再是占比非常重要的因素,模型迭代速度带来的维护能力我认为是可以覆盖的,并且复杂度主要是在模块中。
  3. obsidian 自带的也有查看过,一是如果在库外编辑(没有打开 ob)然后再打开 ob 同步是没有快照的;二是快照是全量的,每次保存整个文件,如果按 15s 频次就很容易膨胀(15s 可能确实过快);三是只保存 md 和 canvas。
  4. 目前用下来的历史记录只需要查看相关 log 文件,只在查看具体版本才请求。

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants