robotsファイルの生成

robots.txtファイルとは？
検索エンジンは、インターネット上のウェブページに自動的にアクセスし、ウェブページ情報を取得するプログラム“スパイダー”（spider）を介している。あなたのウェブサイトにプレーンテキストファイルrobots.txtを作成し、このファイルにスパイダーによって訪問されたくないサイトの部分を宣言して、サイトのコンテンツの一部またはすべてが検索エンジンによってアクセスされず、含まれないようにするか、またはrobots.txtを指定して検索エンジンに指定されたコンテンツのみを含めることができます。検索エンジンが最初に訪問するファイルはrobots.txtです。

robots.txtファイルを教えてください。
ファイルの場所
robots.txtファイルは、サイトのルートディレクトリに置く必要があります。例えば、検索エンジンがウェブサイトにアクセスすると、まずそのウェブサイトにrobots.txtファイルがあるかどうかをチェックし、ロボットプログラムがこのファイルを見つけた場合、そのファイルの内容に基づいてアクセス権の範囲を決定します。Wordpressのrobotsファイル位置没在Wordpressウェブサイトルートプログラム上载过robots.txt，当検索エンジンとユーザーがあるファイルを访问する時、Wordpressプログラムは自动的に生成して1つのrobots.txtを検索エンジンとユーザーに与える;もし我々が書いたrobots.txtをアップロードしてウェブサイトルートプログラムに、ユーザーと検索エンジンスパイダースパイダーが访问するのは我々がアップロードしたファイルで、Wordpressは再びそのファイルを生成しません。サーバーがロボットを見つけられない場合にのみ、Word Pressはこのファイルを生成します。
ファイル形式
robots.txtファイルには、空白行CR、CR/NL、またはNLで区切られた1つ以上のレコードが含まれています。各レコードは以下のようにフォーマットされています。"<field>:<optionalspace><value><optionalspace>"はUNIXの慣習と同様に#を使用してファイル内でコメントを付けることができます。このファイル内のレコードは、通常、1行以上のUser-agent行で始まり、その後にいくつかのDisallow行が続く（User-agent）項目の値は、検索エンジンロボットの名前を記述するために使用される。robots.txtファイルに複数のUser-agentレコードがある場合、複数のrobotがプロトコルの対象となります。したがって、robots.txtファイルに少なくとも1つのユーザーエージェントレコードが必要です。項目の値が * ワイルドカードに設定されている場合、プロトコルはどの検索エンジンロボットでも有効です。robots.txtファイルには、User-agent *"などのレコードは1つだけ指定できます。Disallow：アクセスしたくないURLを記述する値。このURLは完全パスまたは部分パスであることができ、Disallowで始まるURLはロボットによってアクセスされません。たとえば、“Disallow/help”では/help.htmlと/help/index.htmlのどちらにも検索エンジンにアクセスできません。一方、“Disallow/help/”では、robotでは/help/index.htmlにアクセスできますが、/help/index.htmlにはアクセスできません。Disallowレコードが空であれば、サイトのすべての部分がアクセス可能であることを示し、“/robots.txt”ファイル内に少なくとも1つのDisallowレコードが存在します。“/robots.txt”が空のテキストの場合、サイトはすべての検索エンジンrobotに対してオープンです。
一般的なシールド
プライバシーページ、バックランディングページ、キャッシュページ、画像ディレクトリ、CSSディレクトリ、テンプレートページ、2ページのコンテンツをブロックし、ゴールデンネットワークのすべてのメンバーユーザースペースページなどの低品質のページをブロックしながら、DZダイナミックリンクもブロックすることができます。Disallowコマンドでする。