この記事は別室に移転しました。3秒後に転送します。
Googleサーチコンソールで6月末までは特に何もせずにインデックス登録されていたのですが、7月以降の記事がほぼ全量「検出₋インデックス未登録」になっていました。
いくらインデックス登録をリクエストしても登録されないため、かなり困りましたが、サイトマップの登録を適正化することで解決したので、簡単に記録しておきます。
問題の概要
ステータスと発生した症状
- はてなPro、Googleアドセンス利用,
- 記事数は85ぐらい、インデックス登録済は70
- サイトマップは「/sitemap.xml」と各月の「sitemap_periodical.xml?year=yyyy&month=m」を登録
- 7月以降の記事がほぼ「検出-インデックス未登録」になった
検出-インデックス未登録とは
「検出-インデックス未登録」のステータスは諸説ありますが、「サイトマップから検出されているものの、サイト側の負荷を鑑みてクロールが未済になっている」状況（あるいは、クロールの優先度が低いと看做されている状況）ということのようです。
（インデックス登録の必要性がない価値の低いサイトは「クロール済-インデックス未登録」になるので、そもそもクロールされていないのが原因）
症状の要因分析
６月までは自然に登録されていたこともあり、最初はGoogleの枠組み変更を疑ったりしたのですが、特に7月以降に何か変わったという話もなかったので、当ブログ固有の要因（あるいは、はてなブログ固有の問題）のようでした。
色々調べたところ、「サイトマップの登録が適正でない可能性」と「記事URLが類似していて登録されない状態になっている可能性」がありそうだったので、それぞれ対応することにしました。
（追記）これ、いま考えると、明らかにサイトマップの不適切性が原因ですね
問題への対応
①はてな公式のアナウンスに沿ったサイトマップの登録修正
誤ったサイトマップ登録をしていた
はてな公式のアナウンスでは、「/sitemap_index.xml」と「/feed」を登録することが推奨されています。
それに対して、当ブログは「/sitemap.xml」と各月の「sitemap_periodical.xml?year=yyyy&month=m」を登録していました。
（Googleサーチコンソールを使い始めた当初「/sitemap.xml」と各月の「sitemap_periodical.xml?year=yyyy&month=m」を登録した方が反映が早い、という記事を見たためですね）
誤ったサイトマップ登録だと、一定以上の記事数でクロールされなくなる模様
調べてみると、後者の方式で登録をすると、一定以上の記事がある場合に負荷の増大に伴い、クロールがされづらくなる可能性があるとのことでした。
急にインデックス未登録ばかりになった理由のひとつではありそうでした。というか、明らかにこれが要因っぽい。
はてなブログ公式が推奨する「/sitemap_index.xml」と「/feed」のみを登録
はてな公式でも推奨されていない方法なので、後者で登録した各月のサイトマップや「/sitemap.xml」をすべて削除したうえで、「/sitemap_index.xml」と「/feed」を再登録しました。
（「/sitemap_index.xml」と「/feed」以外をすべて削除しないと「/sitemap_index.xml」と「/feed」が機能しないので、面倒でもすべて登録しなおす必要があります。)
当初失敗ステータスだったが、数日で有効化
当初は失敗ステータスだったのですが、放置していたところ、数日でステータスが成功しましたに変わり、新しいサイトマップが有効に機能し始めたことが確認できました。
②記事URLをユニークなURLに変更
URLは類似URLよりもユニークなURLのほうがクロールされやすいらしい
以前は個別に記事のURLをユニークなURLにしていたのですが、6月以降、ユニークなURLをつけるのがめんどうになったので、デフォルトの自動付与URLでの登録としていました。
ただ、クロールの優先順位上、似通ったURLは低くなりやすくなる、といったような話もあったので、雑記記事を除いて、すべてユニークなURLとしました。
症状には関係ないかもしれないが、副次的効果はあったので良かった
サイトマップのほうが明らかに問題だったっぽいので、こちらは原因ではなさそうでしたが、Googleアナリティクスなどのアクセス数を見るときにURLだけで記事が特定できるようになったので、これはこれでやってよかったですね。
（なお、その後一部の記事について、「～yyyymm」のようなルールでURLを設定していたのですが、やはりそれらの記事はクロールされづらい印象もなくはないので、多少は意味があるのかもしれません）
対処した結果
上記対処後、1週間程度で2か月ぐらいまったく登録されなかったインデックス登録が進み始めました。
なんとなく、サイトマップ登録が主のポイントなような気がしているのですが、ユニークURLに変更した記事の方が早期に登録完了した（というか、雑記は今もまだ登録されていないものがある）ので、ユニークなURLにすることも、意味がないわけではなさそうな印象です。
とりあえず7月以降の雑記以外の主要な記事は登録され、インデックス済70⇒82まで進んだので、同様の症状が出ている場合、サイトマップの正しい登録とユニークなURLへの変更を行うと、何らかの効果はあるかもしれません。
