Leaderboard
64 systems indexed · 13 independently scored
Top Scored Systems
LongMemEval · 0-100 · Baseline: 57.6%gbrain
100.0KBLetta
80.0AgentGraphiti
65.0GraphLangMem
60.0ConvLlamaIndex Memory
59.0ConvLLM Baseline (GPT-4o-mini)
57.6BaseAutoGPT Memory
47.4AgentCrewAI Memory
46.0Agent
Baseline (57.6%)
Conv
KB
Agent
Graph
Hybrid
13 scored · 46 listed · 59 total
Scores out of 100. LLM Baseline (no memory system): 57.6%. Systems below baseline are highlighted.
| # | System | Source | Tier | Recall | Temporal | Reasoning | Reliability | Overall | Tested | Trend | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | gbrainGarry Tan | OSS | Community-Verified | 100.0 | 100.0 | 100.0 | 4.0 | 100.0 | May 14 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 2 | LettaLetta Inc | OSS | Community-Verified | 80.0 | 0.0 | 0.0 | 0.0 | 80.0 | May 12 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 3 | GraphitiZep Software | OSS | Community-Verified | 80.0 | 60.0 | 72.0 | 0.0 | 65.0 | May 16 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 4 | LangMemLangChain Inc | OSS | Community-Verified | 0.0 | 0.0 | 0.0 | 48.0 | 60.0 | May 13 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 5 | LlamaIndex MemoryLlamaIndex | Framework | Community-Verified | 59.0 | 59.0 | 59.0 | 56.0 | 59.0 | May 11 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 6 | LLM Baseline (GPT-4o-mini)No memory system | Research | Community-Verified | 77.6 | 48.3 | 48.9 | -- | 57.6 | May 11 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 7 | AutoGPT MemorySignificant Gravitas | Framework | Community-Verified | 73.1 | 37.4 | 33.1 | 44.0 | 47.4 | May 12 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 8 | CrewAI MemoryCrewAI Inc | Framework | Community-Verified | 74.4 | 35.5 | 29.3 | 52.0 | 46.0 | May 12 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 9 | LangChain MemoryLangChain Inc | Framework | Community-Verified | 34.0 | 34.0 | 34.0 | 52.0 | 34.0 | May 11 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 10 | Mem0Mem0 Inc | OSS | Community-Verified | 32.4 | 32.4 | 32.4 | -- | 32.4 | May 11 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 11 | Mem0 OSSMem0 Inc | OSS | Community-Verified | 47.4 | 32.2 | 15.0 | 52.0 | 32.4 | May 12 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 12 | QuivrQuivrHQ | OSS | Community-Verified | 5.0 | 20.0 | 4.0 | -- | 7.3 | May 16 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| 13 | CogneeCognee | OSS | Community-Verified | 0.0 | 0.0 | 0.0 | -- | 0.0 | May 16 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Awaiting Adapter | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | A-MEMAGI Research | Research | Listed | -- | -- | -- | -- | Listed | May 16 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | AgnoAgno AGI | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | AiderAider AI | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | AnythingLLMMintplex Labs | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | ByteRoverByteRover Technologies | Closed | Listed | -- | -- | -- | -- | Listed | May 3 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | CAMELCAMEL-AI | Framework | Listed | -- | -- | -- | -- | Listed | May 14 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | ChatDevOpenBMB | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | ChromaChroma | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | Claude Code MemoryAnthropic | Framework | Listed | -- | -- | -- | -- | Listed | May 7 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | claude-memthedotmack | OSS | Listed | -- | -- | -- | -- | Listed | May 16 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | ComposioComposioHQ | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | Cursor MemoryAnysphere | Closed | Listed | -- | -- | -- | -- | Listed | May 4 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | ENGRAMENGRAM Research | Research | Listed | -- | -- | -- | -- | Listed | Apr 12 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | FlowiseFlowiseAI | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | gstackgstack | Framework | Listed | -- | -- | -- | -- | Listed | May 5 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | HonchoPlastic Labs | OSS | Listed | -- | -- | -- | -- | Listed | Apr 25 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | JulepJulep AI | OSS | Listed | -- | -- | -- | -- | Listed | Apr 20 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | KhojKhoj Inc | OSS | Listed | -- | -- | -- | -- | Listed | May 6 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | KotaemonCinnamon | OSS | Listed | -- | -- | -- | -- | Listed | May 14 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | LangflowLangflow AI | Framework | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | LangMemLangChain Inc | OSS | Listed | -- | -- | -- | -- | Listed | May 2 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MemaryMemary Research | Research | Listed | -- | -- | -- | -- | Listed | Apr 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MemgraphMemgraph | Open Core | Listed | -- | -- | -- | -- | Listed | May 14 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MemMachineMemMachine AI | Closed | Listed | -- | -- | -- | -- | Listed | Apr 28 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MemobaseMemobase Inc | Open Core | Listed | -- | -- | -- | -- | Listed | Apr 27 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MemobaseMemobase Inc | Open Core | Listed | -- | -- | -- | -- | Listed | Apr 22 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MemoriMemori Labs | Closed | Listed | -- | -- | -- | -- | Listed | Apr 18 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MemoriMemori Labs | OSS | Listed | -- | -- | -- | -- | Listed | Apr 18 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | Memoripycaspianmoon | OSS | Listed | -- | -- | -- | -- | Listed | May 14 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MemoryOSMemoryOS | Research | Listed | -- | -- | -- | -- | Listed | Apr 16 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MemOSMemOS Research | Research | Listed | -- | -- | -- | -- | Listed | Apr 25 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | Microsoft GraphRAGMicrosoft | OSS | Listed | -- | -- | -- | -- | Listed | May 1 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MilvusZilliz | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | MotorheadMetal | OSS | Listed | -- | -- | -- | -- | Listed | May 14 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | Obsidian Smart ConnectionsBrian Joseph Petro | OSS | Listed | -- | -- | -- | -- | Listed | May 3 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | OMEGAOMEGA Research Group | Research | Listed | -- | -- | -- | -- | Listed | Apr 29 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | OpenHandsOpenHands | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | OpenMemoryMem0 Inc | OSS | Listed | -- | -- | -- | -- | Listed | May 8 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | PhantomGhostwright | OSS | Listed | -- | -- | -- | -- | Listed | May 16 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | Pydantic AIPydantic | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | QdrantQdrant | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | RagFlowInfiniFlow | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | ReMeReMe AI | Source Available | Listed | -- | -- | -- | -- | Listed | Apr 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | SWE-agentSWE-agent | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | TencentDB Agent MemoryTencent | OSS | Listed | -- | -- | -- | -- | Listed | May 16 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| -- | WeaviateWeaviate | OSS | Listed | -- | -- | -- | -- | Listed | May 15 | -- | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Community-VerifiedOSS
gbrain
Garry Tan
100.0
100.0
verified
May 14Details
Community-VerifiedOSS
Letta
Letta Inc
80.0
80.0
verified
May 12Details
Community-VerifiedOSS
Graphiti
Zep Software
65.0
65.0
verified
May 16Details
Community-VerifiedOSS
LangMem
LangChain Inc
60.0
60.0
verified
May 13Details
Community-VerifiedFramework
LlamaIndex Memory
LlamaIndex
59.0
59.0
verified
May 11Details
Community-VerifiedResearch
LLM Baseline (GPT-4o-mini)
No memory system
57.6
57.6
verified
May 11Details
Community-VerifiedFramework
AutoGPT Memory
Significant Gravitas
47.4
47.4
verified
May 12Details
Community-VerifiedFramework
CrewAI Memory
CrewAI Inc
46.0
46.0
verified
May 12Details
Community-VerifiedFramework
LangChain Memory
LangChain Inc
34.0
34.0
verified
May 11Details
Community-VerifiedOSS
Mem0
Mem0 Inc
32.4
32.4
verified
May 11Details
Community-VerifiedOSS
Mem0 OSS
Mem0 Inc
32.4
32.4
verified
May 12Details
Community-VerifiedOSS
Quivr
QuivrHQ
7.3
7.3
verified
May 16Details
Community-VerifiedOSS
Cognee
Cognee
0.0
0.0
verified
May 16Details
ListedResearch
A-MEM
AGI Research
Listed
May 16Details
ListedOSS
Agno
Agno AGI
Listed
May 15Details
ListedOSS
Aider
Aider AI
Listed
May 15Details
ListedOSS
AnythingLLM
Mintplex Labs
Listed
May 15Details
ListedClosed
ByteRover
ByteRover Technologies
Listed
May 3Details
ListedFramework
CAMEL
CAMEL-AI
Listed
May 14Details
ListedOSS
ChatDev
OpenBMB
Listed
May 15Details
ListedOSS
Chroma
Chroma
Listed
May 15Details
ListedFramework
Claude Code Memory
Anthropic
Listed
May 7Details
ListedOSS
claude-mem
thedotmack
Listed
May 16Details
ListedOSS
Composio
ComposioHQ
Listed
May 15Details
ListedClosed
Cursor Memory
Anysphere
Listed
May 4Details
ListedResearch
ENGRAM
ENGRAM Research
Listed
Apr 12Details
ListedOSS
Flowise
FlowiseAI
Listed
May 15Details
ListedFramework
gstack
gstack
Listed
May 5Details
ListedOSS
Honcho
Plastic Labs
Listed
Apr 25Details
ListedOSS
Julep
Julep AI
Listed
Apr 20Details
ListedOSS
Khoj
Khoj Inc
Listed
May 6Details
ListedOSS
Kotaemon
Cinnamon
Listed
May 14Details
ListedFramework
Langflow
Langflow AI
Listed
May 15Details
ListedOSS
LangMem
LangChain Inc
Listed
May 2Details
ListedResearch
Memary
Memary Research
Listed
Apr 15Details
ListedOpen Core
Memgraph
Memgraph
Listed
May 14Details
ListedClosed
MemMachine
MemMachine AI
Listed
Apr 28Details
ListedOpen Core
Memobase
Memobase Inc
Listed
Apr 27Details
ListedOpen Core
Memobase
Memobase Inc
Listed
Apr 22Details
ListedClosed
Memori
Memori Labs
Listed
Apr 18Details
ListedOSS
Memori
Memori Labs
Listed
Apr 18Details
ListedOSS
Memoripy
caspianmoon
Listed
May 14Details
ListedResearch
MemoryOS
MemoryOS
Listed
Apr 16Details
ListedResearch
MemOS
MemOS Research
Listed
Apr 25Details
ListedOSS
Microsoft GraphRAG
Microsoft
Listed
May 1Details
ListedOSS
Milvus
Zilliz
Listed
May 15Details
ListedOSS
Motorhead
Metal
Listed
May 14Details
ListedOSS
Obsidian Smart Connections
Brian Joseph Petro
Listed
May 3Details
ListedResearch
OMEGA
OMEGA Research Group
Listed
Apr 29Details
ListedOSS
OpenHands
OpenHands
Listed
May 15Details
ListedOSS
OpenMemory
Mem0 Inc
Listed
May 8Details
ListedOSS
Phantom
Ghostwright
Listed
May 16Details
ListedOSS
Pydantic AI
Pydantic
Listed
May 15Details
ListedOSS
Qdrant
Qdrant
Listed
May 15Details
ListedOSS
RagFlow
InfiniFlow
Listed
May 15Details
ListedSource Available
ReMe
ReMe AI
Listed
Apr 15Details
ListedOSS
SWE-agent
SWE-agent
Listed
May 15Details
ListedOSS
TencentDB Agent Memory
Tencent
Listed
May 16Details
ListedOSS
Weaviate
Weaviate
Listed
May 15Details