基于微信聊天记录构建的「数字人格 + 长期记忆」系统。
输入一份微信聊天记录(data/raw/chat.txt),通过 DeepSeek API(deepseek-chat,openai 库调用,密钥在 .env 的 DEEPSEEK_API_KEY),把真实对话提炼成 人格画像 与 长期记忆。
ProjectMe/
├── .env # DeepSeek API Key(勿提交)
├── data/
│ ├── raw/
│ │ └── chat.txt # 唯一原始输入:微信导出聊天记录
│ ├── processed/ # 人格/行为管线中间产物
│ │ ├── my_messages.txt
│ │ ├── conversations.json
│ │ ├── context_windows.json
│ │ └── ...
│ └── memory/ # 记忆管线各阶段产物
│ ├── memories.json # 候选记忆(LLM 提取)
│ ├── validated_memories.json # 通过质量门验证
│ ├── long_term_memories.json # 最终长期记忆
│ └── processed_candidates.json# 增量更新已处理记录(运行时生成)
├── personality/
│ ├── personality.json # LLM 原始人格输出
│ └── personality_profile.json # 最终人格画像
├── src/ # 全部脚本,按版本演进
└── tests/ # 自动化测试
| 步骤 | 脚本 | 输入 → 输出 |
|---|---|---|
| 1. 解析聊天 | main.py / conversation_parser.py (V0.3.2) |
chat.txt → conversations.json |
| 2. 构建上下文窗口 | context_builder.py (V0.3.1) |
conversations.json → context_windows.json |
| 3. 场景分析 | context_analyzer.py (V0.6.1) |
context_windows.json → context_analysis.json |
| 4. 行为分析→聚合→模式 | behavior_analyzer.py (V0.4) → behavior_aggregator.py (V0.5) → behavior_pattern_extractor.py (V0.5.1) |
context_windows.json → behavior_patterns*.json |
| 5. 人格分析 | analyze_personality.py (V0.2) |
my_messages.txt → personality.json |
| 6. 合成画像 | personality_profile.py (V0.7) |
人格+行为+场景 → personality_profile.json |
# 全管线
python src/memory_engine.py
# 只跑某步
python src/memory_engine.py --step extract
python src/memory_engine.py --step validate
python src/memory_engine.py --step update
# 预览(不写文件,只计数)
python src/memory_engine.py --dry-run| 步骤 | 脚本 | 输入 → 输出 |
|---|---|---|
| 1. 候选提取 | memory_extractor.py (V0.8) |
context_windows.json → memories.json |
| 2. 质量门验证 | memory_validator_v0921.py (V0.9.2.3) |
memories.json → validated_memories.json |
| 3. 增量更新 | memory_updater_v093.py (V0.9.3.2) |
validated_memories.json(或回退 memories.json)→ long_term_memories.json |
memory_updater_v093.py 集成了以下能力:
- Evidence ID:每条证据生成唯一 ID(
ev_YYYY年MM月DD日 HHMM_hash8),支持 O(1) 去重 - 跨场景多样性:通过
count_unique_evidence_dates统计独立日期数量 - Scoring:confidence = old×0.65 + new×0.35 + diversity bonus + recency bonus − stale penalty + importance boost
- Lifecycle:candidate → emerging → confirmed → decayed(30 天无新证据自动衰减)
- Contradiction Detection:检测新旧证据间的语义矛盾,3 次矛盾自动 decayed
- Temporal Fields:每条记忆包含
created_at/last_updated_at/version
每条候选记忆需依次通过 4 道 Gate:
- Gate 1:必须有用户本人证据
- Gate 2:过滤一次性事件(如"立即下单""已经发货")
- Gate 3:过滤弱推断(他人观点被误归因给用户)
- Gate 4:证据必须支持结论(主题一致 + 态度方向一致,V0.9.2.2 起不再仅凭关键词命中)
通过的记忆只保留用户自己的证据(filter_relevant_owner_evidence 过滤),并写入 evidence / evidence_count。
from memory_retriever import retrieve, load_long_term_memories
memories = load_long_term_memories("data/memory/long_term_memories.json")
results = retrieve("用户对AI工具有什么看法?", memories, top_k=5)
for item in results:
print(f"[{item['score']:.2f}] {item['memory']['content']}")检索策略(三路加权):
| 维度 | 权重 | 说明 |
|---|---|---|
| Type match | 0.2 | query 意图与 memory type 匹配度 |
| Keyword overlap | 0.5 | content 与 query 的 Jaccard 相似度 |
| Evidence quality | 0.3 | 近期证据 + 跨场景多样性 |
python src/persona_chat.py进入交互式对话,系统会自动:
- 加载
personality_profile.json作为人设 - 加载
long_term_memories.json作为记忆库 - 每次回复前检索相关记忆注入 context
- 通过 DeepSeek API 生成符合人格特征的回复
聊天内命令:
| 命令 | 功能 |
|---|---|
mem / 记忆 |
显示记忆库内容 |
stats / 统计 |
显示记忆库统计 |
reset / 重来 |
清空对话历史 |
quit / exit |
退出 |
python src/web_app.py
# 浏览器打开 http://localhost:5000提供图形化操作界面:上传聊天记录(自动格式规整)、一键运行管线(带实时日志)、记忆库统计仪表盘、内置聊天界面。
# 首次:放入聊天记录后直接运行
python src/run_all.py
# 指定昵称(如果自动检测不准)
python src/run_all.py --my-name "你的微信昵称"
# 跳过人格分析(只跑记忆管线)
python src/run_all.py --skip-personality
# 跑完管线后不启动聊天
python src/run_all.py --no-chat
# 预览(不实际运行)
python src/run_all.py --dry-runpython src/memory_engine.py # 全管线(extract → validate → update)
python src/memory_engine.py --step validate # 只跑某步
python src/memory_engine.py --dry-run # 预览python src/memory_extractor.py
python src/memory_validator_v0921.py
python src/memory_updater_v093.py提示:Windows PowerShell 5.1 读取 UTF-8 中文文件请使用
Get-Content -Encoding UTF8(已在$PROFILE配置默认 UTF-8 读取)。
python -m pytest tests/test_memory.py -v覆盖范围:Evidence ID、多样性统计、相似度判断、证据合并、置信度计算、矛盾检测、记忆检索、标准化。
| 版本 | 能力 |
|---|---|
| V0.9.4 | Memory Retriever — 三路加权检索 |
| V0.9.5 | Contradiction Detection — 语义矛盾检测与惩罚 |
| V0.9.6 | Temporal Memory — created_at / last_updated_at / version |
| V0.9.7 | Unified Pipeline Runner — 统一入口 |
| V1.0.0 | 测试套件 + 代码清理 + Persona Chat + One-Click Runner + Web GUI |
data/memory/long_term_memory.json(单数)疑似历史残留文件。- 首次运行时
processed_candidates.json会自动创建。
- Python 3.10+
openai、python-dotenv、pytest、flask- 环境变量:
DEEPSEEK_API_KEY