Pourquoi
Un companion qui regarde l'écran, écoute la voix, réagit aux événements du jeu : et se souvient de tout ça. Pas via un log de messages, mais via une mémoire structurée : faits, opinions, modèle du monde, profils par interlocuteur.
Natsume a 7 états d'humeur qui évoluent naturellement, une affinité 0–100 sur 5 paliers, et détecte les absences. Elle ne repart jamais de zéro : chaque session s'accumule sur la précédente.
Comment
Cinq couches empilées et indépendantes : Perception (STT + VAD, vision écran, hooks de jeu : osu!, FF14 ACT, Code Vein, Discord), State Engine (7 humeurs à décroissance naturelle, affinité 0–100, mode session), Cognitive Core (STM 35 messages avec compression LLM, retrieval sémantique LTM, appel LLM, parsing actions), Expression (TTS via Edge/Kokoro/Piper/ElevenLabs + RVC voice changer + VTube Studio lip-sync). LTM persistante en SQLite ou JSON. Déploiement 3 tiers : NAS (cerveau 24/7), PC (audio + vision natif), VPS (proxy HTTPS mobile).
01 Perception STT + VAD, vision écran, hooks jeu : osu!, FF14 ACT, Code Vein, Discord
02 State Engine 7 humeurs à décroissance naturelle, affinité 0–100 sur 5 paliers, détection absences
03 Cognitive Core STM 35 messages + compression LLM, retrieval LTM sémantique, parsing actions
04 Expression TTS multi-provider, RVC voice changer, VTube Studio lip-sync
05 Déploiement LTM SQLite, Docker 3 tiers : NAS (cerveau 24/7), PC (audio + vision), mobile
LLMLTMTypeScriptDockerSQLite
GitHub ↗
Où en est-on
Architecture 5 couches complète
7 humeurs avec décroissance naturelle
Affinité 0–100 sur 5 paliers
STM 35 messages + compression LLM
LTM sémantique (SQLite + embeddings)
STT Groq / TTS multi-provider
RVC voice changer + VTube Studio
Admin panel + hot-swap providers
Déploiement Docker 3 tiers
En cours
- Hooks osu! temps réel améliorés
- Intégration complète LunAcedia
Ensuite
- Mode multi-persona
- Accès mobile via Lun'Avaritia