※この記事は記載時点で原因が分かっておらず、推測の域の部分も多く存在しますが結果としては解決されたので備忘録として書き記しています。
急にGoogle検索エンジンからサイトが消滅
とある日、クライアントから連絡を受け「Google検索で引っかからなくなった」との声が。
SSLやモバイルフレンドリー非対応の古いサイトだったので、まぁグーグルでペナルティを受けたかな～とおもって油断して確認してみると
検索エンジンそのものから消滅している
というとんでもない事態に。
site:ドメイン名 でそのドメインがインデックスされているかを調べられるがそもそもそれに引っかからない。
サーチコンソールでURL検索をしてみたり、サイトマップを送信してみたりもしたがこれもエラーで帰ってくる。
つまり、インデックスされていないどころかロボットがクロール対象から除外されているという状態。
これはとんでもないぞということで色々試してみました。
こういうケースのインデックスされてるかの確認方法
上でも書きましたが、こういうケースは単純にランキングが落ちたのか、そもそもインデックスから消滅しているのかを調べていくことで原因を絞っていくことが出来ます。
行った確認方法は下記になります。
- 検索エンジンで site:ドメイン名 を入力してみる。
- サーチコンソールのURL検査を行う。
- 最新のサイトマップを投げてみる。
ちなみに今回は全てアウト。めでたくクロール対象外になっており検索エンジンから消滅してることになりました。
robots.txtが無い事が原因でインデックス除外された？
現時点では某市の公式ホームページも同様の内容でぶっとんでまっており、原因も不明確になってる状態ではありますが、どちらにも共通した解決策は
robots.txt をアップロードする。
私は下記の記事に従ってアップしました。
「対処方法: robots.txt が原因でパソコン用ページをクロールできません」
https://support.google.com/merchants/answer/6098185?hl=ja
今回の私の担当サイトは、数年前に公開の古いもので、robots.txtはアップもされていなかったことが原因になってしまった…？かと推測されますがそんなサイトはこの世に山ほどあるので、たまたまGoogleのロシアンルーレットに当たってしまったような気もします…
結論、これからはrobots.txtをあげておこう！！