はてなブログだから?Googleへのインデックスが遅くなった理由とは?

Googleへのインデックスが遅くなった、まともにインデックスされなくて困ってる、という声を聞くようになりました。

WordPressに比べて、はてなブログはSEOに弱い、なんて話も聞くし、はてなブログってやっぱり不利なのかな？

そんな心配をするかたもいるかもしれません。

この記事では、「インデックス」と「クロール」の違いについて説明し、インデックスを早めるためにできることをまとめました。

はてなブログだから？ Googleへのインデックスが遅くなった理由とは？

まず、はてなブログだからインデックスが遅い、ということはありません。

Googleのインデックスが遅くなってきた、という声が出始めたのは2020年の8月ごろから。これは世界的な流れで、WordPressだろうが、はてなブログだろうが関係ありません。

今日公開した記事、しっかりインデックスされて2ページ目にいる。

はてなブログだからインデックス遅い、なんてことはないよ

— おまきざる (@capuchinyou2) November 14, 2021

私ははてなブログもWordPressサイトも運営していますが、インデックスが遅いのはむしろWordPressのほう。インデックスの早い遅いは、ブログサービスに左右されるものではないのです。

「クロール」と「インデックス」は違う！Google検索の仕組みとは？

SNSでは、「クロール」と「インデックス」を混同したような意見が見られます。しかし、両者は明確に異なります。

① みなさんがブログで新しい記事をアップロードすると、その更新情報は検索エンジン側に伝わります。

② その後、検索ロボットはあなたのブログを「クロール」（＝巡回）して、新規記事のページを発見します。

ここで、どのような文章か、どんな画像があるか、他サイトとはどう違うか、といった情報をかき集めます。

③ 検索ロボットはクロールした情報に基づき、Googleのデータベースに「インデックス」（＝登録）します。

インデックスとは、インターネット上の巨大な図書館に、新たな蔵書（＝ページ）を追加登録するようなものです。

ユーザー（検索エンジンの利用者）が実際に検索したとき、このデータベースをもとに検索ページが表示されます。

たとえば、ユーザーが「はてなブログ　始め方」で検索するとします。検索エンジンは

「はてなブログ、始め方というキーワードなら、このページを紹介しよう」

と自動的に判断し、インデックスされている中から検索意図に沿ったページを引き出してきます。その優先順位が検索ランキングに反映されるというわけです。

• クロール・・・検索ロボットがあなたのブログの各ページを調べ、新しいページを発見する
• インデックス・・・その情報をもとに、データベースに登録すること

「クロール待ち」状態なら、「低品質コンテンツ」「重複コンテンツ」は関係ない！

はてなブログ初心者で、

1. Googleサーチコンソールに登録する
2. サイトマップを送信する

この2つの作業がまだの人は、早めに済ませておきましょう。

サーチコンソールとブログを紐づけておくと、インデックスされない原因をある程度しぼりこむことが可能です。

① Googleサーチコンソールを開き、左側メニューから「URL検査」をクリックします。

② 画面上部の検索窓に、新規記事のURLを入力し、画面内の🔍アイコンをクリックします。

③ すでにインデックスされていれば、「✅URLはGoogleに登録されています」と表示されます。

いっぽう。

インデックスされていないと、「ⓘURLはGoogleに登録されていません」と表示されます。ここでチェックしたいのは、カバレッジの項目。

「検出 - インデックス未登録」・・・まだ検索ロボットにクロール（＝巡回）されていない

「クロール済み - インデックス未登録」・・・検索ロボットにクロールされたものの、何らかのエラーでインデックスされていない

後者であれば、コンテンツに問題がある（＝低品質コンテンツなど）可能性があります。

ただし、いまインデックスされずに困っている人たちの多くは、実は前者、「検出 - インデックス未登録」の状態です。

これは、新しい記事をアップしたという情報は伝わっている（＝検出）ものの、まだ検索ロボットがクロールに来てないことを示しています。

いわゆる「クロール待ち」という状態です。

とりあえずインデックスしていた一昔前が嘘のよう。
クロール、インデックス遅い。
もちろんサイトによって優劣あるけど。
増え続けるWEBページを全て取り込み続けるのはシステム的にキツいからなあ。
電気代節約、地球に優しく🦦 https://t.co/rBG5wl9DSF

— ラッコ🦦ラッコ株式会社(:3 っ)з (@hataraku_rakko) July 29, 2021

最近、インデックスが遅い。クローラーも来にくい。そう言えば、以前、Googleはサイトの増え方に追いつけなくなったと言っていたなあ。

— アクセル先生 (@axcel0901) September 14, 2021

インターネット上では、

• ブログの数が増えすぎて、クローラー（検索ロボット）が処理しきれないのでは？
• アップデートに伴い、大きなシステム変更があったのでは？

という憶測が飛び交っています。

しかし、クロールされない理由について、Google側が公式に発表をしている訳ではありません。2020年頃から多発しているクロール待ちの原因については、「わからない」「待つしかない」というのが答えです。

ただし、「検出 - インデックス未登録」とは、ページの内容がまだチェックされていない状態です。このため、以下の対策は意味がありません。

✕ 低品質コンテンツだからリライトする

✕ 重複コンテンツかもしれないからリライトする

とはいえ、疑問が沸いてきます。インデックスが早いブログと、いつまで経ってもインデックスされないブログ。両者の違いは何なのでしょうか？

何が足りない？ Googleへのインデックスを早めるためにできることは？

Google検索についてブログ初心者向けの情報を提供してくれる、「Google検索セントラル」というサイトがあります。

このページの冒頭に、Googleの検索ロボットがクロールを見落とす原因として、以下の記載があります。

• 新しく立ち上げたばかりのサイトで、Google がまだクロールできていない。
• サイトのデザイン上の問題により、Google がコンテンツを効果的にクロールできない

また、「サイトをGoogleに表示するには」（＝インデックスさせるには）という項目には、以下の記載があります。

• ユーザーに質の高いコンテンツを提供しているか？
• ウェブサイトのコンテンツに、どのデバイスからでも速く簡単にアクセスできるか？

developers.google.com

新しく開設したばかりのブログである

立ち上げたばかりのブログは、インターネット上の情報がまだ不十分。ですので、検索ロボットもうまくブログを見つけられません。クロール（＝巡回）の回数も少なめです。

クロールの頻度を上げるためには、定期的に更新を続けてゆき、検索ロボットにブログの存在自体を認知してもらう必要があります。

しかし、グーグルさん、ホントにインデックス化遅い。

更新したページの取り込みも遅い。

月に1回取り込まれたら良い、というくらいの感覚。

まぁ、多分、ページランクが高いページは頻度高いんだろうけどねー・・・。

更新頻度もデータとして蓄積されてるんだろうなぁ・・・。

— 藤井康昌＠ネット集客実践クラブ (@valid_seo) November 10, 2021

品質に関するガイドラインを満たしていない

Googleが出している「品質に関するガイドライン」を読むと、以下のようなコンテンツはインデックスが難しくなっていることが読み取れます。

✕ オリジナルのコンテンツがほとんど、またはまったく存在しないページの作成
✕ 十分な付加価値のないアフィリエイト サイト
✕ ページへのコンテンツに関係のないキーワードの詰め込み

• 品質に関するガイドライン

価値あるコンテンツが少ない

Googleは営利企業です。

Yahoo!でもなくBingでもなく、たくさんの人にGoogle検索を使ってもらうことが、最大の利益となります。

そのために、検索ロボットは“検索ユーザーにとって”役立つページをインデックスさせようとします。

「検索ユーザーが知りたかった疑問が解決できた」

「検索ユーザーの悩みが解消された」

「検索ユーザーにとって読みやすいページだ」

逆に、検索ページからきた読者が求める情報が載っていないと、「低品質コンテンツ」と判定されます。

「低品質コンテンツ」ばかり書いているブログだと、ブログ評価も低くなります。

新しい記事をアップしても、急いでインデックスするまでもないと判断され、インデックスされたとしても順位は下のほうになるでしょう。

だとしてもインデックスが遅すぎる。他にも理由があるのでは？

YouTubeに、Googleの日本人技術者のかたが、「サイトのインデックスが遅くなった」原因について見解を述べている動画があがっています。

▲クリックすると動画が読み込まれます。

53分10秒ごろから。

この中で、興味深い指摘がなされています。

「他のサイトと比較して、ユーザーがそのサイトを訪れる理由って何だろう？と考えていただきたい」

「クオリティだけでなく、差別化や独自性もよく考えていただきたい」

2017年頃までだったら。

たとえ内容が被っていても、クオリティさえ優れていれば上位表示できる、というのがサイト運営の主流の考え方でした。

しかし、情報メディアの種類が増えています。

ブログだけでなく、YouTube動画もTwitterも、noteもインスタグラムも、検索ページに表示されるようになりました。Google検索は、できるだけ多種多様な「答え」を提供しようとしているのです。

このため、他の情報メディアとどう差別化できるかが、ブログ運営にも求められるようになっています。

【はてなブログ】Googleへのインデックスを早めるためにできることは？

はてなブログでは、WordPressのような細かい設定はできません。

プラグインを入れて更新をいち早く知らせることもできないし、高速のレンタルサーバーに切り替えることもできません。

できる施策といえば、

1. サーチコンソールの「URL検査」で、インデックスを促す
2. インデックス済みの記事から内部リンクを貼り、クロールをスムーズにする
3. Twitterなどで告知し、流入経路を増やす（＝インデックスとの直接の因果関係はなし）

ぐらい。あとは、ただ待つだけです。

どんな対策を講じてもインデックスされない時は、“あきらめ”も肝心。

「必要とされていない記事」だと割り切り、別の記事の作成に取りかかったほうが生産的です。忘れた頃に、しれっとインデックスされることもあるからです。

まとめ

• 「インデックスが遅くなった」という状況は、ブログ運営者の多くが感じている。はてなだけの問題ではない
• 多くのブログ運営者が陥っているのは、「クロール待ち」の状態
• Googleの公式アナウンスがない以上、クロールの順番がまわってこない理由はわからない
• 「クロール待ち」なら、はてなでできる対策は「URL検査」でインデックスを促すことぐらい

ただし、ブログ評価が上がってゆけば、検索ロボットもいずれ無視できなくなります。

有益なコンテンツを作り続けているブログの新着記事は、やっぱり有益である可能性が高いからです。

Googleの提唱する品質に関するガイドラインに従い、“検索ユーザーにとって”役に立つ記事を書き続ける。他サイトとの差別化を打ち出してゆく・・・

ブログ評価が上がってゆけば、クロールの頻度が高くなり、インデックスも早まるようになります。