llms.txtは、ChatGPT、Claude、Perplexityなどの言語モデル向けのrobots.txtに相当するファイルだ。robots.txtがGoogleに何をクロールするか伝えるように、llms.txtはLLMにあなたが誰で、何について書いていて、どのページが重要かを伝える。サイトのルートに置くプレーンなMarkdownファイルで、回答を生成する機械への名刺のように機能する。

この標準は2024年末にllmstxt.orgによって提案された。まだ公式ではない。サイトのクロールに使用していると公式に確認したLLMはない。しかしAnthropicはすでに自社ドメインに公開している。そしてOpenAI、Google、Perplexityのクローラーはサイト訪問時に類似のファイルを探している。

このブログに実装した理由は、デザイナーが実際のプロジェクトでAIを使っていることについて誰かが質問した時にAIモデルに引用されることが目標だからだ。LLMが私について語るなら、私が誰で何をしているかの明確なコンテキストを持っていてほしい。ハルシネーションは望まない。

ファイルの構造

フォーマットはシンプルなルールのMarkdownだ。サイト名だけのH1で始める。その行には他に何も書かない。その下に大なり記号を使った簡潔な説明のblockquoteを置く。その後、H2ヘッダーのセクションで情報を箇条書きにまとめる。

一般的なセクションは、役割と経験を書くAuthor、主要トピックを書くTopics Covered、利用規則を書くContent Policy、そしてMarkdown形式で重要ページへのリンクを書くKey Pagesだ。

リンクはダッシュ、角括弧のページ名、丸括弧のURL、コロンと短い説明という形式で書く。標準が期待するフォーマットだ。シンプルだが正確である必要がある。

私のファイルの内容

私のllms.txtには五つのセクションがある。UX/UIデザイナーとしての役割、銀行・フィンテックでの経験年数、所在地、執筆言語を書いたAuthor。ブログの中心テーマを書いたTopics Covered。すべてのコンテンツがオリジナルの一人称体験であり帰属表示付きで引用可能と明記したContent Policy。そしてブログが三言語であるため言語別に分けた三つのKey Pagesセクション。

すべてのリンクに説明をつけている。URLだけでは不十分だ。モデルはあなたのページが質問に関連するか判断するためにコンテキストが必要だ。

すべて英語で書いた。AIクローラーは英語で処理するからだ。コンテンツはどの言語でもいいが、llms.txtは英語が最も効果的だ。

技術的な部分

ファイル名はllms.txtでドメインのルートに置く。Apacheを使っている場合、.htaccessに二つの設定が必要だ。URLがクリーンに動作するためのRewriteRuleと、サーバーがUTF-8エンコーディングのプレーンテキストとして配信するためのFilesディレクティブだ。

robots.txtの末尾にLLMs-Txtとコロンに続けてファイルの完全なURLを記載する行を追加する。これはllmstxt.orgが提案する規約に従っている。

WordPressを使っている場合、手動でファイルを作成しFTPでアップロードできる。Yoast SEOには自動生成オプションがあるが、内容のコントロールは限られる。

検証方法

ChatGPTにURLから直接ファイルを読むよう依頼した。llmstxt.orgの標準に構造が従っているか質問した。正しい点と不足している点を指摘する詳細な分析が返ってきた。

最初のバージョンはH1と説明が同じ行に混在し、リンクも適切なMarkdown形式ではなかった。ChatGPTがそれを検出した。構造を修正し、blockquoteを分離し、リンクを正しくフォーマットして再検証した。二回目は高評価だった。

これが今llms.txtをテストする最も実践的な方法だ。ChatGPTかClaudeに読ませて構造が正しいか聞く。LLMが正しく解釈できれば、機能している。

期待すべきでないこと

このファイルで明日ChatGPTの回答に登場するわけではない。SEOの魔法ではない。何を引用するか決めるためにllms.txtを使うと公式に述べたLLMはない。初期導入者のサーバーログでは、AIクローラーがファイルを頻繁に訪問していないことが示されている。

しかし実装コストは最小限だ。テキストファイル一つ、作業時間三十分、リスクゼロ。そして標準が公式に採用された時、すでに準備ができている。Googleが正式に要求する前にサイトマップを持っているようなものだ。

最悪の場合、何も起きない。最良の場合、LLMがこのファイルを探し始めた時、あなたのファイルがすでにそこにあり、よく構築され、明確な情報を持っている。

参考として、shinobis.com/llms.txtで私のファイルが動作しているのを確認できる。