Das Robots Meta-Tag ermöglicht eine seitenspezifische Herangehensweise, bei der angegeben wird, wie eine bestimmte Seite von Suchmaschinen indexiert und den Nutzern in Suchergebnissen angezeigt werden soll.
Die Voreinstellung für alle Seiten ist index, follow. Durch Auswahl des Wertes noindex, nofollow für Robots werden Suchmaschinen angewiesen, diese Seite nicht in den Suchergebnissen anzuzeigen.