Skip to content
EYANGHKPublic

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

1 Commit

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Project Me V1.0.0

基于微信聊天记录构建的「数字人格 + 长期记忆」系统。

输入一份微信聊天记录(data/raw/chat.txt),通过 DeepSeek API(deepseek-chat,openai 库调用,密钥在 .env 的 DEEPSEEK_API_KEY),把真实对话提炼成 人格画像 与 长期记忆。


目录结构

ProjectMe/
├── .env                     # DeepSeek API Key(勿提交)
├── data/
│   ├── raw/
│   │   └── chat.txt         # 唯一原始输入:微信导出聊天记录
│   ├── processed/           # 人格/行为管线中间产物
│   │   ├── my_messages.txt
│   │   ├── conversations.json
│   │   ├── context_windows.json
│   │   └── ...
│   └── memory/              # 记忆管线各阶段产物
│       ├── memories.json            # 候选记忆(LLM 提取)
│       ├── validated_memories.json  # 通过质量门验证
│       ├── long_term_memories.json  # 最终长期记忆
│       └── processed_candidates.json# 增量更新已处理记录(运行时生成)
├── personality/
│   ├── personality.json           # LLM 原始人格输出
│   └── personality_profile.json   # 最终人格画像
├── src/                     # 全部脚本,按版本演进
└── tests/                   # 自动化测试

两条管线

管线 A:人格 / 行为分析(V0.2 → V0.7)

步骤 脚本 输入 → 输出
1. 解析聊天 main.py / conversation_parser.py (V0.3.2) chat.txt → conversations.json
2. 构建上下文窗口 context_builder.py (V0.3.1) conversations.json → context_windows.json
3. 场景分析 context_analyzer.py (V0.6.1) context_windows.json → context_analysis.json
4. 行为分析→聚合→模式 behavior_analyzer.py (V0.4) → behavior_aggregator.py (V0.5) → behavior_pattern_extractor.py (V0.5.1) context_windows.json → behavior_patterns*.json
5. 人格分析 analyze_personality.py (V0.2) my_messages.txt → personality.json
6. 合成画像 personality_profile.py (V0.7) 人格+行为+场景 → personality_profile.json

管线 B:长期记忆(V0.8 → V1.0.0,当前主线)

统一入口

# 全管线
python src/memory_engine.py

# 只跑某步
python src/memory_engine.py --step extract
python src/memory_engine.py --step validate
python src/memory_engine.py --step update

# 预览(不写文件,只计数)
python src/memory_engine.py --dry-run

管线步骤

步骤 脚本 输入 → 输出
1. 候选提取 memory_extractor.py (V0.8) context_windows.json → memories.json
2. 质量门验证 memory_validator_v0921.py (V0.9.2.3) memories.json → validated_memories.json
3. 增量更新 memory_updater_v093.py (V0.9.3.2) validated_memories.json(或回退 memories.json)→ long_term_memories.json

memory_updater_v093.py 集成了以下能力:

  • Evidence ID:每条证据生成唯一 ID(ev_YYYY年MM月DD日 HHMM_hash8),支持 O(1) 去重
  • 跨场景多样性:通过 count_unique_evidence_dates 统计独立日期数量
  • Scoring:confidence = old×0.65 + new×0.35 + diversity bonus + recency bonus − stale penalty + importance boost
  • Lifecycle:candidate → emerging → confirmed → decayed(30 天无新证据自动衰减)
  • Contradiction Detection:检测新旧证据间的语义矛盾,3 次矛盾自动 decayed
  • Temporal Fields:每条记忆包含 created_at / last_updated_at / version

质量门(memory_validator_v0921.py)

每条候选记忆需依次通过 4 道 Gate:

  1. Gate 1:必须有用户本人证据
  2. Gate 2:过滤一次性事件(如"立即下单""已经发货")
  3. Gate 3:过滤弱推断(他人观点被误归因给用户)
  4. Gate 4:证据必须支持结论(主题一致 + 态度方向一致,V0.9.2.2 起不再仅凭关键词命中)

通过的记忆只保留用户自己的证据(filter_relevant_owner_evidence 过滤),并写入 evidence / evidence_count。


记忆检索(V0.9.4)

from memory_retriever import retrieve, load_long_term_memories

memories = load_long_term_memories("data/memory/long_term_memories.json")
results = retrieve("用户对AI工具有什么看法?", memories, top_k=5)

for item in results:
    print(f"[{item['score']:.2f}] {item['memory']['content']}")

检索策略(三路加权):

维度 权重 说明
Type match 0.2 query 意图与 memory type 匹配度
Keyword overlap 0.5 content 与 query 的 Jaccard 相似度
Evidence quality 0.3 近期证据 + 跨场景多样性

与数字人格聊天(V1.0.0)

python src/persona_chat.py

进入交互式对话,系统会自动:

  1. 加载 personality_profile.json 作为人设
  2. 加载 long_term_memories.json 作为记忆库
  3. 每次回复前检索相关记忆注入 context
  4. 通过 DeepSeek API 生成符合人格特征的回复

聊天内命令:

命令 功能
mem / 记忆 显示记忆库内容
stats / 统计 显示记忆库统计
reset / 重来 清空对话历史
quit / exit 退出

运行方式

Web 界面(推荐)

python src/web_app.py
# 浏览器打开 http://localhost:5000

提供图形化操作界面:上传聊天记录(自动格式规整)、一键运行管线(带实时日志)、记忆库统计仪表盘、内置聊天界面。

一键全流程(命令行)

# 首次:放入聊天记录后直接运行
python src/run_all.py

# 指定昵称(如果自动检测不准)
python src/run_all.py --my-name "你的微信昵称"

# 跳过人格分析(只跑记忆管线)
python src/run_all.py --skip-personality

# 跑完管线后不启动聊天
python src/run_all.py --no-chat

# 预览(不实际运行)
python src/run_all.py --dry-run

方式一:记忆管线(推荐)

python src/memory_engine.py              # 全管线(extract → validate → update)
python src/memory_engine.py --step validate  # 只跑某步
python src/memory_engine.py --dry-run     # 预览

方式二:分步执行

python src/memory_extractor.py
python src/memory_validator_v0921.py
python src/memory_updater_v093.py

提示:Windows PowerShell 5.1 读取 UTF-8 中文文件请使用 Get-Content -Encoding UTF8(已在 $PROFILE 配置默认 UTF-8 读取)。


测试

python -m pytest tests/test_memory.py -v

覆盖范围:Evidence ID、多样性统计、相似度判断、证据合并、置信度计算、矛盾检测、记忆检索、标准化。


版本演进

版本 能力
V0.9.4 Memory Retriever — 三路加权检索
V0.9.5 Contradiction Detection — 语义矛盾检测与惩罚
V0.9.6 Temporal Memory — created_at / last_updated_at / version
V0.9.7 Unified Pipeline Runner — 统一入口
V1.0.0 测试套件 + 代码清理 + Persona Chat + One-Click Runner + Web GUI
  • data/memory/long_term_memory.json(单数)疑似历史残留文件。
  • 首次运行时 processed_candidates.json 会自动创建。

依赖

  • Python 3.10+
  • openai、python-dotenv、pytest、flask
  • 环境变量:DEEPSEEK_API_KEY

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages