Dans la note officielle de l'OpenAI, OAI-SearchBot est utilisé pour les résultats de recherche, GPTBot est utilisé pour indiquer si le contenu peut être utilisé pour la formation des modèles de base, et les robots.txt mis en place pour être indépendants les uns des autres. Le fait de vouloir trouver du contenu dans la recherche ChatGPT ne signifie pas que les fins d'entraînement doivent être autorisées à grimper.
Lorsque OAI-SearchBot est en mesure d'accéder aux pages publiques, le système a une meilleure occasion de lire le texte principal, de générer un résumé et de fournir des références claires; s'il est interdit de le faire, il est encore possible dans certains cas de trouver des URL de tiers et d'afficher uniquement des liens ou des titres. GPTBot représente un autre choix de contenu. La stratégie technologique devrait être déterminée par la politique de contenu de l'entreprise, et non pas simplement en autorisant ou en rejetant tout cela.
Avant la mise en œuvre, le contenu est classé par marché commun, reconnaissance juridique et technique: contenu de marketing public, contenu de connaissances ouvertes, informations spécifiques à la clientèle, documents internes et informations personnelles. OAI-SearchBot est autorisé sur les pages qui sont ouvertes et qui veulent être recherchées. GPTBot est configuré à des fins de formation selon la politique d'entreprise.
OpenAI explique que les modifications aux règles des robots peuvent prendre effet pendant une certaine période de temps, de sorte que ne pas utiliser l'accès en quelques minutes comme seul jugement. Les documents robotiques officiels devraient également être examinés régulièrement, car les noms, les utilisations et les méthodes d'authentification peuvent être mis à jour.
La zone d'erreur commune est que OAI-SearchBot est autorisé à garantir automatiquement que la marque entrera dans chaque réponse, ou que GPTBot sera protégé de la recherche en même temps. Un autre risque est que seuls les robots.txt seront changés, mais le pare-feu reviendra à 403. Une fois l'installation terminée, les fichiers des robots devraient être vérifiés à partir du réseau ouvert et un registre d'approbation devrait être conservé pour s'assurer que les expéditions subséquentes ne seront pas inversées par inadvertance.
Lorsque vous débarquez, vous devez inclure la classification d'utilisation du contenu, la stratégie de recherche OAI, la stratégie de formation GPT, le journal de bord et l'examen des règles. Toute modification doit être accompagnée d'une vérification du contenu visible de la page, du code source HTML, des données structurées, des liens internes et des cartes du site, de sorte que la réception soit mise à jour et que la couche de lecture automatique conserve ses anciennes valeurs. GEO n'est pas un plugin d'installation unique et ne garantit pas qu'une plate-forme sera citée; il s'agit d'un ensemble de contenus et de travaux techniques qui améliore continuellement l'accessibilité, la validation, l'attribution et la citation des informations.
