Préface : 72 journaux d'état et de réorientation complétés, ainsi que la portée publique et les attentes en matière d'index dans la carte des pages.
Cette tâche : Définit les règles de saisie, les instructions d'indexage et la protection d'accès selon l'utilisation de la page.
Objectif et état de préparation
robots.txt indique principalement aux reptiles qui respectent les règles quel chemin ne doit pas être pris, et Noindex indique au moteur de recherche qui supporte la commande de ne pas indexer. Les deux ne sont pas les mêmes commutateurs. La préparation de la portée publique de la page et l'indexation prévoient que chaque type d'URL devra être effacé de la nécessité de permettre la capture, d'éviter l'indexation ou de protéger l'accès, d'abord pour déterminer le but, puis pour choisir la méthode, et d'éviter le réglage l'information post-judiciaire sur un seul site.
Le système de recherche peut connaître l'URL bloquée par d'autres informations. Noindex a besoin d'un accès reptile à la page et de lire les instructions pour être efficace. Il ne peut être interdit de capturer en attendant qu'aucunindex ne soit trouvé sur la page.
Mode de fonctionnement
Remplissez la feuille de politique avec l'URL ou la plage de règles, l'utilisation, l'ouverture, le souhait d'indexation, la position de contrôle et les résultats de test. Le fichier des robots dans le répertoire racine de contrôle et les paramètres d'indexation dans le modèle note si la règle couvre les ressources nécessaires pour les images, les scripts ou les parties du corps.
La page HTML fournit une commande de méta robot appropriée en tête, et les ressources non HTML peuvent répondre à l'en-tête HTTP correspondant. Par exemple, une page de requête interne ouverte qui ne veut pas d'index, s'assure que la page est lue et ensuite vérifiée pour noidex. N'écrivez pas noidex dans robots.txt en tant que schéma soutenu par Google, et ne regardez pas simplement le coché CMS, mais vérifiez les réponses réelles et les codes de page.
Appliquer des exemples
En utilisant l'usine CNC comme exemple d'application, l'énoncé de service de traitement ouvert est destiné à être découvert et l'article de préparation de l'échantillon doit être lu correctement; les dessins téléchargés par le client doivent être accessibles et protégés du répertoire public ou de la carte du site.
Si l'ancienne page de test est déjà dans la recherche, le risque de divulgation du contenu et le traitement à utiliser doivent être identifiés, suivis par la protection d'accès ou des programmes de suppression appropriés. Ne relâchez pas la protection d'un fichier privé seulement pour permettre aux reptiles de lire les instructions.
Produits et acceptations
Vérifie le permis des robots, la méta réelle et les en-têtes de réponse pour chaque échantillon après réparation, confirmant qu'il n'y a pas de commandes contradictoires. Si la page est toujours dans le processus, vérifiez si de nouveaux paramètres sont lus au lieu d'ajouter plus de règles ou de bloquer tous les répertoires.
Les résultats finals des stratégies par catégorie et des données empiriques, du contenu public, des contrôles des indices et de l'accès à la vie privée aux frontières sont clairs. Une version dupliquée de l'accès autorisé est donnée à la prochaine version de l'URL, qui traite des URL, et cette section est conservée pour exclure la carte du site pour vérification. La gestion de capture et la gestion de l'index résolvent différents problèmes, puis la réparation technique elle-même est évitée en créant de nouveaux obstacles à la recherche.
