【ワードプレス】「送信された URL に noindex タグが追加されています」をAIOSEOで修正する方法と、写真だけのページをGoogleインデックスから一括で削除する方法

Google Search Consoleで「送信された URL に noindex タグが追加されています」のエラーが、ワードプレスで運用している本サイトで出ました。
該当のページは、画像が表示されるだけのページばかりです。

ネットで調べると、同様な問題の解決法を書いてあるページもあるものの、phpなどのコード(プログラム)を書き換える解決法ばかりでした。
本記事では、AIOSEO (All in One SEOと表記されていることもある) プラグインの設定を変えるだけで解決します。

また、すでにGoogleインデックスに登録されてしまっている(何百という)画像だけのページを一括でインデックスから外す方法も、紹介します。
原始的な方法ですが、だいぶ労力がかからない方法になっていると思います。

問題となる状況

「送信された URL に noindex タグが追加されています」のエラー(第1の問題)

以下、本サイトのGoogleサーチコンソール画面です。
Google Search Consoleで「送信された URL に noindex タグが追加されています」のエラーが6ページに対して出ています。

とくにサイト設定をいじったつもりもないのに、2021年3月21日にこのエラーが発生しました。

該当のページを開いてみると、問題になっているページは、ブログページの形式にはなっているものの内容は写真だけが貼られただけのページでした。

同様に、画像だけのページがすでにインデックスされている問題(第2の問題)

同様な画像が表示されるだけのページで、もっと以前に作成されたページもたくさん(500ほど)ありました。
これらは、エラーこそ出ていませんが、内容が薄いページなのでインデックスを外した方がよいと思われます。
内容が薄いページをたくさんインデックスしてあると、Googleの検索で優先順位を下げられてしまうのが怖いですから。

こうしたページは、Googleサーチ・コンソールではステータスは「有効」、型は「インデックス登録されましたが、サイトマップに送信していません」となっています。
これらを検索から外す作業は、次節の設定を済ませた後で、「すでにインデックスされている画像だけのページを検索から外す方法」までやる必要があります。

「送信された URL に noindex タグが追加されています」(第1の問題)の解決方法

エラーメッセージの意味

送信された URL に noindex タグが追加されています」が意味するところは、問題のページはnoindexタグが付いているのに、Robots.txt でクローラーを排除する設定になっていないことが問題だということのようです。

サイトマップをチェックする

sitemap.xml の中身を見ると All in One SEO (AIOSEO) によって作成されたことが分かります。
このときのAIOSEOは、バージョン 4.0.17でした。(最近AIOSEOの見た目が変わっているので、バージョンアップがあったのだと思います。)AIOSEOバージョンは、
  WPメニュー→プラグイン 
で、インストール済みプラグイン一覧を表示させた画面で確認できます。

sitemap.xml の中では、attachment-sitemap.xml という見慣れない記述があります。
以前はなかったものなので、なにかしらワードプレスかプラグインの仕様またはデフォルト設定が変わったのでしょうか。

attachment-sitemap.xml の中身を眺めると、写真ファイルの場所の一覧になっており、エラーが出ているファイルも載っています。

解決方法―attachment-sitemap.xmlを作製させない設定

何かの拍子に、サイトマップにこれら写真ページが載るようになってしまったために、GoogleBotは招かれたつもりでクロールするようになったものの、一方で noindex に設定されていて辻褄が合わないということが起こっているのでしょう。

attachment-sitemap.xml を作製させない・消去させる設定に変更すればよいわけです。

だいぶいろいろ探し回りましたが、結論だけ言います。
修正の仕方は、以下の3ステップだけでした。

画像等ファイルのURLリダイレクト設定

WPメニュー→AIOSEO→検索の外観→添付ファイル で、
「添付ファイルのURLをリダイレクトする」が「無効」となっていたのを「添付ファイル」に変更します。

サイトマップ設定から添付ファイルを外す

そして、画像ファイルなど添付ファイルを、サイトマップから外す作業をします。

  WPメニュー→AIOSEO→サイトマップ

で、ページの下の方、「高度な設定」をONにします。

編集できるようになった「高度な設定」の一番下にある、「画像を除外」を「はい」にします。

この操作をしたあとで、sitemap.xml を確認すると、無事 attachment-sitemap.xml が消えます。

Googleサーチ・コンソールでサイト修正を報告

以上のサイト修正が済んだことを、以下の手順でGoogleサーチ・コンソールに報告します。

  • Googleサーチ・コンソールで、「カバレージ」を選び、「エラー」が選択されていることを確認(普通は、はじめから選ばれている)します。
  • 画面をスクロールダウンし、該当のエラー「送信された URL に noindex タグが追加されています」をクリックします。
  • 移動先にある「修正を検証」というボタンをクリック。

あとは、何日かかけてGoogleが検証し、検証が終わるとエラーが解消します。

すでにインデックスされている画像だけのページを検索から外す方法(第2の問題の解決方法)

このやり方も、いくつかのサイトを読ませてもらいました。
Googleサーチ・コンソールで一個一個削除リクエストを出すか、画像を新しく貼り直すという方法が紹介されていました。
でも、私のように500も該当ページがあると、これを全部、手作業でやるのは物凄い労力です。

そこで、自分でいろいろやってみたところ、以下の方法で解決できました。

ここでご紹介する方法は、Robots.txtを編集するという原始的な方法。
テキストエディタでファイルを編集する手間はありますが、プログラムを書き換えるような高度な編集はいっさいありません。
でも、ネット越しにサーバ―の反応をいちいち待ちながら、一個一個のページを処理するよりは、テキストファイル編集で一括処理できるだけ、はるかに簡単です。

では、順を追って説明していきます。

attachment-sitemap.xml を作製させないAIOSEO設定にする

まず、attachment-sitemap.xml が作成されないことが前提です。
本記事の前半の『「送信された URL に noindex タグが追加されています」(第1の問題)の解決方法』で説明した手順に従って、attachment-sitemap.xml が作成されないようにAIOSEOを設定してください。

ワードプレスとrobots.txtのバックアップを取る

robots.txtを手動で編集するので、間違いが起こっても対処できるように、ワードプレスのバックアップを取り、robots.txtもダウンロードしてバックアップを残してから作業するようにしてください。

なお、バックアップしたrobots.txtは、大切に保存しておいてください。
Googleのインデックスからページが削除された後で、ワードプレスを元に戻すときに使用します。

Google検索から外したいページのリストをダウンロードする

まず、サーチコンソールから、ページのリストをダウンロードします。

  1. Googleサーチ・コンソールで、「カバレージ」→「有効」を選択する。
  2. スクロールダウンし、「インデックス登録されましたが、サイトマップに送信していません」をクリックして、ページのリストを表示する。
  3. 画面右上の方にある「エクスポート」から、「cvsダウンロード」を選ぶ。

該当ページに関する robots.txt 記述を用意する

まず、ダウンロードしたcvsをExcelで開いて、日付等、URL以外の部分を消去し、保存します。
また、ボットの巡回から外したくない(Googleイデックスから外したくない)ページに関する行は、削除しておきます。

次に、保存したcvsファイルをテキストエディタ(メモ帳、ワードパッドなど、なんでも)で開きます。

保存されたcvsは、一行一行にページのURLだけが書かれた形式なっていると思います。
なっていなければ、うまく編集して、そのように直します。

https://luluthetuxidocat.com/pc-dell-earphone-trouble/earphone5-1/

これを一行一行、robots.txtでクローラーをはじくための記述に編集していきます。
サイトトップのURL(私の例では、https://luluthetuxidocat.com)を消して、Disallow: という記述を文頭に付けます。

Disallow: /pc-dell-earphone-trouble/earphone5-1/

これを、すべての行について編集します。
大変なようですが、テキストエディタの置換機能を使用して、サイトトップURLを”Disallow: ”に全置換すればよいので、実際の作業は簡単に済みます。

サイトの robots.txt をダウンロードし、Disallowリストを埋め込む

“{サイトのトップURL}/robots.txt”とブラウザのアドレス欄に打ち込むと、robots.txtを見ることができます。

たとえば本ブログの robots.txt は、”https://luluthetuxidocat.com/robots.txt” です。

  1. テキストエディタで、robots.txt というファイルを新規作成し、サイトの robots.txt の内容をコピペします。
  2. さきほど作成した、”Disallow: “のリストを、コピペします。貼り付ける位置は、”User-agent: *”の効力が及ぶ範囲に貼り付けます。
  3. robots.txt を保存します。

作製した robots.txt をサイトにアップロードする

あとは、サーバーのファイルマネージャーや ftp サービスを利用して、作成した robots.txt をサイトにアップロードします。
アップロードするディレクトリ(フォルダ)は、サイトのトップ・ディレクトリです。

なお、ファイルマネージャー等で、トップディレクトリに robots.txt が見当たらない場合(私もそうでした)でも、構わずそこにアップロードします。

AIOSEOから新しい robots.txt を読み込む

アップロード後に、AIOSEO で robots.txt を編集しにいく(WPメニュー→AIOSEO→ツール)と、AIOSEO で作成したのでない robots.txt が見つかったと警告が出ます。

「インポートしてから削除」と「削除」の選択を問われますので、インポートするオプションを選びます。

Googleでのインデックス除外が済むのを待って、robots.txt を元に戻す

あとは、robots.txtの”Disallow”記述が効力を発揮してページのインデックスが消えるのを待ちます。
インデックスから削除されると、これらページは、Googleサーチ・コンソール内で「有効」から「除外」に移動します。
変更が反映されたら、元の robots.txt にもどします。

元に戻すにはまず、AIOSEOで、robots.txt をリセットします。
(AIOSEOの robots.txt インポートは、書き足すだけで、インポートファイルに載っていない記述を消すことはできませんでした。)

  1. WPメニュー→AIOSEO→「ツール」 を選びます。
  2. 「データベースツール」タブを選択。
  3. 「設定のリセット・復元」中、Robots.txtにチェックをいれます。
  4. 「選択した設定をデフォルトにリセット」

あとは、バックアップしてあった元の robots.txt を、サイトのファイルマネージャーや ftp サービスを利用してサイトのトップディレクトリにアップロードし、AIOSEOからこの robots.txt を認識させるだけです。
AIOSEO から認識させるには、WPメニュー→AIOSEO→ツール と進むと、AIOSEOが予期していない robots.txt が見つかった警告が出るので「インポートしてから削除」するオプションを選びます。

まとめ

ワードプレスで運用しているサイトで、Google Search Consoleで「送信された URL に noindex タグが追加されています」のエラーが出ることがあります。
画像が表示されるだけのページが該当する場合に、phpなどプログラムを触ることなく、AIOSEOプラグインの設定を変更するだけで、修正できる方法を紹介しました。

また、画像が1枚表示されるだけのページが、すでに大量にGoogleにインデックスされていると、検索結果に不利に働きかねません。
そうしたページをGoogleインデクシングからまとめて一括で除外する方法も解説しました。


コメント

タイトルとURLをコピーしました