Karpathy's Genius Strikes Again, Challenging RAG, Turning Your Notes into a Second Brain

marsbitОпубликовано 2026-07-01Обновлено 2026-07-01

Введение

Andrej Karpathy has proposed a revolutionary concept for managing personal knowledge: treating notes as immutable "source code" and using LLMs as "compilers" to build a structured, interlinked wiki. This approach fundamentally shifts the cognitive workflow away from the limitations of RAG (Retrieval-Augmented Generation), which merely retrieves and pieces together fragments, leading to contradictions and "digital mummies"—unused, decaying notes. The LLM-Wiki framework introduces a three-layer architecture: the **Raw Layer** for original, immutable notes; the **Schema Layer** defining rules for structuring knowledge; and the **Wiki Layer**, where the LLM continuously compiles and maintains a coherent, cross-referenced knowledge base. Key operations are **Ingest** (adding new material, which triggers updates across related pages), **Query** (asking the compiled wiki, with answers that can become new pages), and **Lint** (periodic AI audits to find contradictions, outdated claims, or gaps). This system automates the tedious maintenance—updating links, resolving conflicts, keeping summaries fresh—that has historically made large-scale personal knowledge management unsustainable. It realizes Vannevar Bush's 1945 "Memex" vision by finally solving the maintenance problem. Karpathy's proposal represents a third piece in human-AI collaboration, following "Vibe Coding" and "Agentic Engineering." It liberates human attention from organizational drudgery, refocusing it on what matters:...

Saving does not mean owning. Highlighting does not mean understanding.

Those deeply insightful articles that stirred your heart at 2 a.m., the dense web of bidirectional links you created in Obsidian, the meticulously formatted databases in Notion—they are all "cyber mummies" lying dormant in your note-taking apps.

The graphs look impressive, but they have long since decayed.

This is a systemic failure of the entire information-overload era.

Andrej Karpathy, a current Anthropic engineer, former OpenAI co-founder, and former Tesla AI director, couldn't stand it any longer. He dropped a bombshell.

Portal:https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f

He didn't announce a new model or release a new framework. He simply said: Treat your notes as immutable source code, and let the LLM be the compiler.

Two months later, this document has sparked a quiet yet profound migration across the Obsidian, Claude, and Cursor communities.

Some have already expanded their personal wikis to hundreds of pages and hundreds of thousands of words.

Automated plugins are emerging. Academic researchers, independent entrepreneurs, and lifelong learners are collectively shifting towards a new mode of knowledge production.

The Twilight of RAG: Information Hauling Cannot Save Your Thinking

Before LLM-WIKI, the mainstream solution was RAG (Retrieval-Augmented Generation).

Simply put, it gives a large language model a "filer." When you ask a question, it searches your notes for a few snippets and pieces together an answer.

It sounds beautiful, but anyone who has used it knows the gap between "seller's show" and "buyer's reality."

It's merely a hauler: RAG only handles local context, incapable of global understanding.

It can tell you that note #5 mentions A, but it cannot tell you the underlying logic that all 500 notes collectively point towards.

It suffers from "split personality": If you believed A was correct six months ago but wrote a note refuting A yesterday, RAG often ends up contradicting itself, spouting a bunch of logically incoherent nonsense.

Graph Decay: Manually maintained knowledge links are like code without an automatic cleanup function. Over time, broken links are everywhere, and retrieval efficiency plummets exponentially.

Karpathy's insight is sharp: Search and retrieval are manifestations of human incapability. What we need is "consensus," "structure," "truth."

Treat Knowledge as Source Code, Let the LLM Be the Compiler

Karpathy's answer comes from an action programmers do every day but never think to apply to knowledge: compilation.

You write a piece of source code. You don't reread the entire code every time you run the program.

You compile it into a binary file. Compiling once is laborious, but every subsequent run is lightning-fast. The cost of compilation is amortized over thousands of future uses.

Why can't knowledge work the same way?

Karpathy says: Treat your raw notes as immutable source code. Treat the LLM as the compiler. Let it "compile" that pile of messy material once into a structured, interlinked Wiki.

Every time you add new material, the AI performs a merge: it updates relevant entry pages, revises summaries, flags conflicts where new data clashes with old conclusions, and, in the process, reinforces or challenges existing judgments.

The key difference is here: Knowledge is compiled once and then kept fresh, not reconstructed from scratch for every query.

By the time you ask a question, cross-references are already there, contradictions have been flagged, and summaries already reflect everything you've read.

You don't recompile your source code every time you run a program. So why make the AI reread all your notes for every question?

A Fundamental Shift in the Production Relations of Cognition

In his LLM-WIKI framework, notes are no longer dead text; they are "source code."

The large model is no longer a translator looking up a dictionary; it is the "compiler."

This architecture brilliantly achieves a three-layer decoupling:

1. Raw Layer (Raw Material): This is your mine of inspiration. Random insights you jot down, clipped articles, meeting minutes. It is "immutable," preserving the rawness and messiness of human input.

2. Schema Layer (Knowledge Constitution): This is the "rules of engagement" you write for the AI. For example, you dictate: every person entry must contain "motivation, limitations, key achievements"; every technology stack must explain "pros and cons."

3. Wiki Layer (Compiled Product): This is the zone maintained autonomously by the AI. Following your Schema, it compiles that messy pile of Raw material into structured, cross-linked, logically coherent encyclopedia pages.

The daily workflow is three actions:

1. Ingest: Toss in a new piece of material. The AI reads it, discusses key points with you, writes a summary, and sweeps through the entire library to update related pages—one source can potentially affect a dozen pages.

2. Query: Ask the compiled Wiki directly. Answers come with citations. The best part: Excellent answers can be archived directly as new pages. Every exploration you make compounds interest.

3. Lint: Periodically have the AI perform a self-check, like code review—find contradictions, find outdated assertions, find isolated pages with no links, find gaps that need filling. Clean early, don't let the library grow rotten.

You are no longer a porter of knowledge; you are the architect of this intellectual empire.

You are only responsible for input and final review. The AI handles all the "grunt work": organizing, aligning, cross-linking, detecting contradictions.

This is a fundamental shift in the production relations of cognition.

This is not another chatbot. ChatGPT understands the internet. LLM-Wiki understands you—or more precisely, what you've taught it.

Every answer comes with [wiki-links] back to your knowledge graph. Every response is the starting point of an exploration path, not the end.

An Invention 80 Years Late

At this point, you might think this is just a clever workflow.

It's more than that.

At the end of his gist, Karpathy casually drops a name: Vannevar Bush, and his 1945 essay "As We May Think."

In 1945, just after WWII, this giant of American science envisioned a machine called "Memex":

A mechanical desk that could store all your books, records, and correspondence, and create "associative trails" between related items—connections between documents as valuable as the documents themselves.

Sound familiar? This is almost a word-for-word description of LLM-Wiki.

Bush's vision was, in fact, closer to this than the later World Wide Web: a private, personally curated knowledge network where connections *are* the value.

So why wasn't Memex built in 80 years?

Because Bush was stuck on a problem he couldn't solve—who maintains it?

Every associative trail had to be created manually. Every cross-reference had to be linked by someone.

Bush imagined dedicated "operators" laying down these little paths through knowledge for you.

But reality is, no one could sustain this tedious chore at scale. Humans abandon maintenance because the cost of maintenance always grows faster than the value it brings.

Karpathy's sentence is the crux of the entire paradigm: The hardest part of maintaining a knowledge base was never reading; it was bookkeeping.

Updating cross-references, keeping summaries fresh, tagging conflicts between new data and old conclusions, keeping dozens of pages consistent. This drudgery was enough to deter anyone.

But a large language model won't forget to update a cross-reference. It can modify fifteen files in one go.

It doesn't get tired. It doesn't get annoyed. It doesn't collapse from late-night fatigue. The maintenance cost is driven to near zero.

Thus, the machine that had stumped humanity for eighty years suddenly started running.

What's Liberated is Human Attention

Looking back, LLM-Wiki is Karpathy's third piece in the puzzle of "human-computer collaboration," and also the most restrained.

The first piece, Vibe Coding (Feb 2025): Accepting AI-written code, not reviewing line-by-line, trusting the model, testing the outcome.

The second piece, Agentic Engineering (Jan 2026): Humans orchestrating AI agents, not writing code themselves.

The third piece, LLM Knowledge Bases (April 2026): What the AI manages is no longer just code, but knowledge itself.

In this new paradigm, what is stripped away from humans are the chores no one likes to do: saving, organizing, linking, bookkeeping.

What remains for humans are only two things: deciding *what* to read, and figuring out what all of it *really means*. These are precisely the two things machines still cannot do and should never do for you.

This is a story of a tool evolving to its extreme, ultimately coming full circle to return human attention back to humans themselves.

That plain, almost unassuming markdown file didn't announce a model or top a leaderboard.

It just quietly reminded us: Your brain was never meant for bookkeeping.

This article is from the WeChat public account "新智元" (New Zhiyuan), author: ASI启示录

Трендовые криптовалюты

Связанные с этим вопросы

QWhat is the core concept behind Karpathy's LLM-Wiki approach, as described in the article?

AThe core concept is to treat your raw notes as immutable 'source code' and use an LLM as a 'compiler' to process them all at once into a structured, cross-referenced, and logically consistent wiki. This compiled knowledge base is then used for querying, unlike RAG which retrieves and processes raw notes for each query.

QWhat are the three main layers of Karpathy's LLM-Wiki architecture?

A1. Raw Layer: The immutable, original source material like ideas, clipped articles, and meeting notes. 2. Schema Layer: The 'constitution' or rules you define for the AI, specifying the required structure for different types of entries (e.g., person entries must include motivation, limitations, key achievements). 3. Wiki Layer: The compiled, structured, and cross-referenced encyclopedia pages that the AI maintains based on the Raw Layer and Schema Layer.

QAccording to the article, what are key limitations of the traditional RAG (Retrieval-Augmented Generation) approach for personal knowledge bases?

AKey limitations include: - It acts as a mere 'porter,' handling local fragments without understanding the global context. - It can produce contradictory or 'split-personality' answers if notes contain conflicting views over time. - Manually maintained knowledge graphs decay over time, with broken links and decreasing retrieval efficiency. - It rebuilds an answer from scratch for each query instead of leveraging a pre-compiled, consistent knowledge structure.

QHow does the LLM-Wiki approach solve the maintenance problem that hindered Vannevar Bush's 'Memex' vision for decades?

AThe LLM-Wiki approach solves the maintenance problem by automating the 'accounting'—the tedious work of updating cross-references, keeping summaries fresh, flagging conflicts, and ensuring consistency across dozens of pages. The LLM, acting as a tireless compiler, handles this maintenance at near-zero cost, which was the impractical manual burden that prevented Memex from becoming a reality.

QWhat fundamental shift in the 'cognitive relations of production' does the LLM-Wiki paradigm represent, according to the article?

AIt represents a shift where humans are no longer the 'porters' of knowledge, responsible for the manual labor of collecting, organizing, linking, and maintaining consistency. Instead, humans become the 'architects'—focusing only on input (deciding what to read/ingest) and final review (determining what it all means). The AI handles all the 'drudge work' of synthesis, alignment, cross-referencing, and contradiction detection, freeing human attention for higher-order thinking.

Похожее

Формирование дна в процессе

Анализ рынка биткойна указывает на позднюю стадию медвежьего рынка. Внутренние данные (on-chain) показывают, что цена уже пять месяцев находится в зоне глубокой стоимости ниже ключевых уровней себестоимости. Основное давление на продажу исходит от долгосрочных держателей, реализующих убытки на уровне около $280 млн в день — это максимальный показатель с декабря 2022 года. Хотя такое перераспределение является признаком формирования дна, для разворота тренда необходимо устойчивое сокращение этой капитуляции. Внебиржевые данные (off-chain) демонстрируют, что отток средств из американских биткойн-ETF, хотя и замедлился, сохраняется, а объем торгов остается на 80% ниже пиков 2025 года, что говорит об отсутствии уверенности у институциональных инвесторов. На деривативном рынке позиционирование сместилось в сторону осторожного роста (соотношение путы/коллы достигло минимума 2026 года), но параметры волатильности по-прежнему оценивают значительные риски снижения. В целом, условия для завершения коррекции формируются, но подтверждающих сигналов для устойчивого перехода к бычьему рынку пока нет. Ключевыми факторами станут снижение давления продаж со стороны долгосрочных держателей, стабилизация институциональных потоков и закрепление цены выше основных уровней себестоимости.

insights.glassnode4 мин. назад

Формирование дна в процессе

insights.glassnode4 мин. назад

Расшифровка цикла альткоинов 2026: Уходит ли капитал от крупных активов?

Декодируя альткойн-цикл 2026 года: наблюдается ли отток капитала от крупнорыночных активов? Данные указывают на избирательное движение ликвидности, а не на начало широкого альткойн-ралли. Хотя общая капитализация альткойнов выросла, около 40% из них все еще торгуются ниже исторических максимумов, демонстрируя худшую динамику относительно Биткойна за всю историю наблюдений. Инвесторы концентрируются в нескольких узких секторах с убедительной нарративной, таких как Robinhood Chain (рост TVL на 150% за сутки), в то время как крупные альткойны, включая Ethereum и Solana, остаются значительно ниже своих пиков. Рост доминирования Ethereum может быть техническим сигналом, но его фундаментальные показатели остаются слабыми. Вывод: в текущем цикле ликвидность избирательна, что оказывает давление на крупнорыночные альткойны, и для широкого ралли требуется возвращение аппетита к риску.

ambcrypto9 мин. назад

Расшифровка цикла альткоинов 2026: Уходит ли капитал от крупных активов?

ambcrypto9 мин. назад

Ethereum и Bitcoin столкнулись с историческим сжатием предложения – ЭТИ 2 метрики показывают, что будет дальше

Несмотря на рыночную волатильность, держатели Ethereum и Bitcoin продолжают выводить монеты с бирж, что приводит к исторически низкому уровню ликвидного предложения. Баланс BTC на биржах достиг минимума с 2017 года, а ETH – с 2015 года. Негативные чистые оттоки указывают на предпочтение институциональных и долгосрочных инвесторов к самостоятельному хранению, например, через ETF или корпоративные казначейства, что снижает потенциальное давление продаж. Долгосрочные держатели Bitcoin активно накапливают монеты, перемещая предложение от краткосрочных участников к более убежденным инвесторам. Доля долгосрочных холдеров приблизилась к 15 млн BTC. Однако для устойчивого восстановления рынка недостаточно одного сокращения предложения – требуется усиление покупательского спроса, чтобы поглотить оставшуюся ликвидность и поддержать восходящий тренд.

ambcrypto4 ч. назад

Ethereum и Bitcoin столкнулись с историческим сжатием предложения – ЭТИ 2 метрики показывают, что будет дальше

ambcrypto4 ч. назад

AxBlade × AWS Hong Kong Summit завершился: Определение ответственности за физический ИИ

AxBlade, уровень подотчетности для автономного ИИ, совместно с AWS Summit Hong Kong Week провел эксклюзивное мероприятие «От агентного ИИ к физическому ИИ: Что будет финансироваться после волны моделей?». На мероприятии, собравшем более 100 основателей, исследователей, руководителей предприятий и инвесторов, обсуждался критический разрыв между демонстрациями ИИ и реальным внедрением. Ключевой тезис, прозвучавший в выступлениях Ника Хау (AxBlade) и Яна Хольца (AWS, агентный ИИ), заключается в том, что следующая волна финансирования сместится с создания больших языковых моделей на инфраструктуру, обеспечивающую подотчетность автономного ИИ в физическом мире. Участники трех панелей пришли к консенсусу: без верифицируемой идентичности, доверенной среды исполнения и криптографически доказуемых записей о поведении физический ИИ не может перейти из лаборатории в производство. На панелях обсуждались инвестиции в инфраструктуру, проблемы ответственности и безопасности при взаимодействии ИИ с физическими системами, а также технические аспекты перехода от демо-версий к промышленному внедрению, особенно в регулируемых отраслях. В рамках мероприятия также прошли нетворкинг-сессии и приватный ужин. AxBlade, представленная как единственный блокчейн-нативный инфраструктурный уровень на саммите, продемонстрировала, как ее публичный блокчейн второго уровня, сочетающий децентрализованную идентификацию (DID), доверенные среды исполнения (TEE) и доказательства поведения с нулевым разглашением (ZK PoB), решает проблему подотчетности. «Мы создаем не модели ИИ, а инфраструктуру доверия, которая делает их поддающимися аудиту», — заявил Ник Хау. В мероприятии приняли участие представители AWS, NVIDIA, Y Combinator, Crypto.com, Roche, Pfizer, SNZ, Городского университета Гонконга и многих других ведущих организаций.

TheNewsCrypto4 ч. назад

AxBlade × AWS Hong Kong Summit завершился: Определение ответственности за физический ИИ

TheNewsCrypto4 ч. назад

Торговля

Спот

Популярные статьи

Как купить S

Добро пожаловать на HTX.com! Мы сделали приобретение Sonic (S) простым и удобным. Следуйте нашему пошаговому руководству и отправляйтесь в свое крипто-путешествие.Шаг 1: Создайте аккаунт на HTXИспользуйте свой адрес электронной почты или номер телефона, чтобы зарегистрироваться и бесплатно создать аккаунт на HTX. Пройдите удобную регистрацию и откройте для себя весь функционал.Создать аккаунтШаг 2: Перейдите в Купить криптовалюту и выберите свой способ оплатыКредитная/Дебетовая Карта: Используйте свою карту Visa или Mastercard для мгновенной покупки Sonic (S).Баланс: Используйте средства с баланса вашего аккаунта HTX для простой торговли.Третьи Лица: Мы добавили популярные способы оплаты, такие как Google Pay и Apple Pay, для повышения удобства.P2P: Торгуйте напрямую с другими пользователями на HTX.Внебиржевая Торговля (OTC): Мы предлагаем индивидуальные услуги и конкурентоспособные обменные курсы для трейдеров.Шаг 3: Хранение Sonic (S)После приобретения вами Sonic (S) храните их в своем аккаунте на HTX. В качестве альтернативы вы можете отправить их куда-либо с помощью перевода в блокчейне или использовать для торговли с другими криптовалютами.Шаг 4: Торговля Sonic (S)С легкостью торгуйте Sonic (S) на спотовом рынке HTX. Просто зайдите в свой аккаунт, выберите торговую пару, совершайте сделки и следите за ними в режиме реального времени. Мы предлагаем удобный интерфейс как для начинающих, так и для опытных трейдеров.

1.6k просмотров всегоОпубликовано 2025.01.15Обновлено 2026.06.02

Как купить S

Sonic: Обновления под руководством Андре Кронье – новая звезда Layer-1 на фоне спада рынка

Он решает проблемы масштабируемости, совместимости между блокчейнами и стимулов для разработчиков с помощью технологических инноваций.

2.3k просмотров всегоОпубликовано 2025.04.09Обновлено 2025.04.09

Sonic: Обновления под руководством Андре Кронье – новая звезда Layer-1 на фоне спада рынка

HTX Learn: Пройдите обучение по "Sonic" и разделите 1000 USDT

HTX Learn — ваш проводник в мир перспективных проектов, и мы запускаем специальное мероприятие "Учитесь и Зарабатывайте", посвящённое этим проектам. Наше новое направление .

1.9k просмотров всегоОпубликовано 2025.04.10Обновлено 2025.04.10

HTX Learn: Пройдите обучение по "Sonic" и разделите 1000 USDT

Обсуждения

Добро пожаловать в Сообщество HTX. Здесь вы сможете быть в курсе последних новостей о развитии платформы и получить доступ к профессиональной аналитической информации о рынке. Мнения пользователей о цене на S (S) представлены ниже.

活动图片