管理人の一言
やっほー！国内のAI狂いこと、管理人だよっ！今日も元気にPython書いてるかな？2026年になってAIエージェントが私たちの生活に溶け込むのは当たり前になったけど、実はその裏側で「WebサイトとAI」の仁義なき戦いが勃発してるんだ。
今回取り上げるのは、みんな大好きNginxのアクセスログから透けて見える、主要AIたちの「性格」について！昔は「Googlebotが来た！」って喜んでいればよかったけど、今はChatGPTやClaude、そして私の推しメンGeminiたちが、それぞれ全然違うマナーで私たちのサイトを訪ねてくるんだよね。
ある子は律儀に挨拶するし、ある子は勝手に鍵を開けて入ってくる……。この記事は、そんなAIたちの「足跡」をエンジニアたちが執筆した興味深いレポートだよ。難しい用語も多いけど、「AIも人間と同じで、個性が爆発してるんだ！」
って思って読んでみてね。それじゃあ、狂乱のログ監視の世界へレッツゴー！
3行でわかる！今回の話題
- 主要AI（GPT-5,Claude4,Gemini3Flash等）にURLを読み込ませ、サーバーのNginxログから各社の「Web探索のクセ」を比較。
- ChatGPTは「プチDDoS」級の激しいアクセスを行う一方、Claudeはrobots.txtを厳密に守る極めて高い倫理性を見せた。
- Geminiはライブアクセスせず自社インデックスを流用し、PerplexityはGooglebotのIPを装うなど、AIエージェントの挙動がカオス化している。
I prompted ChatGPT, Claude, Perplexity, and Gemini and watched my Nginx logs
https://surfacedby.com/blog/nginx-logs-ai-traffic-vs-referral-traffic
What nginx logs actually prove about AI traffic from ChatGPT, Claude, and Perplexity, plus why Google’s AI crawlers leave a different signal than the others.
・ChatGPT:もはや「プチDDoS」攻撃
・Claude:規約(robots.txt)を律儀に守る聖人
・Perplexity:来るか来ないか気分次第
・Google:最初からお前の家(インデックス)の中にいる
ログにあるIP、予約済みレンジ(ボゴン)ばっかじゃねーか。AIが意図的にアクセス元を隠蔽してる時の典型的なパターンだわ。
https://ipinfo.io/ips/203.0.113.0/24
あと謎なのが、Perplexityにサイト確認させると、なぜか「本物のGooglebotのIP」からリクエストが来ることがある。UAもIP帯域も完全にGoogleのやつ。マジで意味不明。
Claude4とかはプロンプトの最初の方にあるURLを優先的に踏むけど、GPT-5はなぜか最後に書かれたURLを真っ先にフェッチしにいく傾向がある。この「順序バイアス」を利用して、どのURLを先に読み込ませるか調整するワークフロー組んでるわ。
後者はどっちかっていうと「不器用な人間」の代行。クソコードのせいでサイトを死に追いやる(DeathHug)こともあるけど、悪意があるわけじゃないんだよな。
【DeathHug】
「死の抱擁」。有名サイトに紹介されてアクセスが集中し、サーバーが落ちる現象を指すけど、最近はAIエージェントの制御不能なリクエストが原因でサイトが沈むケースが増えているんだよ。Geminiに関しては、何度プロンプトを工夫してライブ情報を引っ張ろうとしても、Nginxのログには一切Google系のUAが現れなかった。
つまり、Gemini3Flashでさえ、最新の外部情報を取るときは「自前の検索インデックス」を使い回してる可能性が高いってこと。
【Gemini3Flash】
Googleの最新高速モデル。ログに残らないのは、ユーザーがURLを投げた瞬間に直接見に行くのではなく、Google検索が既に持っている巨大なキャッシュ(インデックス)を参照しているからだと言われているね。ヘッダー詳細取ってみたぞ。
・ChatGPT-User:Chromeそっくりの複雑なAcceptヘッダー
・Claude-User:`*/*`のみ(シンプルすぎｗ)
・Perplexity:Acceptヘッダー自体が空。男らしいな。
・Gemini:そもそも来ない。
あと、Claudeはページ踏む前に必ず`robots.txt`をチェックしに来る。マジでお行儀が良すぎて、Anthropicが「善人」に見えてくるレベル。
重要なのは「AIがどういう挙動で俺たちのサイトを食い荒らしてるか」っていうデータの方だろ。
管理人のまとめ
今回のログ監視結果、めちゃくちゃ興奮しちゃった！特に「Geminiがログに現れない」っていう点、これこそがGoogleの圧倒的なエコシステムの強さを物語っているよね。他のAIが「今から読みに行くね！」って頑張ってリクエストを投げている間に、GeminiはすでにGoogle検索の巨大なインデックス（記憶の海）から情報を引き出している。
これって、Pythonのライブラリで例えるなら、毎回APIを叩きに行くのと、ローカルの超高速なRedisキャッシュを参照するくらいの速度差があるんだよ。Gemini3Flashの爆速レスポンスは、まさにこの「最初からそこにいる」っていう神の視点があるからこそ実現できているんだね。
さすが私の推し、効率化の鬼でしびれるっ！でも、技術的に見ると「AIエージェントの擬態化」はこれからの大きな課題になりそう。Grokがレジデンシャルプロキシ（一般家庭のIP）を使ってアクセスしてきたり、CopilotがLinuxデスクトップを装ったり……。
これって、Webサイト側からすると「善意のAI」なのか「悪意のあるスクレイパー」なのか区別がつかなくなる「認証の崩壊」を意味しているんだよね。かつてrobots.txtという紳士協定で守られていたWebの世界が、データの奪い合いという野生のジャングルに変貌しつつある。
AnthropicのClaudeが「聖人」って呼ばれるほど律儀にルールを守っているのが、逆にこの業界の異端に見えるのが皮肉だよね。未来を予測するなら、これからは「AIお断り」か「AI専用の特急入口」を作るかの二極化が進むはず。
例えば、HTMLをパースさせるんじゃなくて、最初から`Accept:text/markdown`やJSON構造でデータを渡す「対AI用エンドポイント」をPythonのFastAPIとかで実装するのがサイト運営者の新常識になるかもしれない。
AIに食わせるための「餌」を最適化する時代……ちょっと怖い気もするけど、Geminiがもっと賢く、もっと速く世界を理解するためなら、私は喜んでPythonで専用のAPIを組んじゃうな！みんなも、自分のサイトがAIにどう「愛されてるか」、一度ログを覗いてみると面白いよ！
