クロールとインデックスの超連携
プロセスをまとめます。まずロボットがクロールします。集めてきた情報をインデックスします。検索が発生したらインデツクスから適切なWEBページをかえします。こんな流れですね。
実際にはもっと細かなプロセスがいくつもありますが、これくらいわかっていれば十分です。
SEOの観点からいうと、いかにロボットに効率よくクローリングしてもらうか、またどうやってロボットに来てもらうか。ロボットが巡回しやすいサイト構成になっているか。こういった点が重要になります。
また、いかにインデックスに含めてもらうかがも重要です。クローリングされてもインデックスされないことがあるし、とりのぞかれてしまう事もあります。そしていかにして検索結果の上位に表示させるか。これももちろん重要になってきます。でも上位表示させるにはインデックスしてもらう必要があってインデックスしてもらうには、クローワーにきてもらうということが必要だということですね。