En la nota oficial de OpenAI, OAI-SearchBot se utiliza para fines relacionados con los resultados de búsqueda, GPTBot se utiliza para indicar si el contenido se puede utilizar para la formación de modelos básicos, y los robots.txt se establecen para ser independientes entre sí. Desear que el contenido se encuentre en la búsqueda de ChatGPT no significa que se debe permitir que los propósitos de entrenamiento suban.
Cuando OAI-SearchBot es capaz de acceder a las páginas públicas, el sistema tiene una mejor oportunidad de leer el texto principal, generar un resumen y proporcionar referencias claras; Si está prohibido hacerlo, en algunos casos es posible encontrar URLs de terceros y mostrar sólo enlaces o títulos. GPTBot representa otra opción de contenido. La estrategia tecnológica debe determinarse por la política de contenidos institucionales, no simplemente permitiendo o rechazando todo.
Antes de la implementación, el contenido está clasificado por el mercado común, el reconocimiento legal y técnico: contenido de marketing público, contenido de conocimiento abierto, información específica del cliente, documentos internos e información personal. OAI-SearchBot se permite en páginas que están abiertas y quieren ser buscados. GPTBot está configurado para fines de entrenamiento de acuerdo con la política de negocio.
OpenAI explica que los cambios en las reglas de los robots pueden entrar en vigor durante un cierto período de tiempo, así que no use el acceso en unos minutos como el único juicio. Los documentos oficiales robóticos también deben revisarse periódicamente, ya que pueden actualizarse los nombres, los usos y los métodos de autenticación.
El área común de error es que OAI-SearchBot se permite garantizar automáticamente que la marca entrará en cada respuesta, o que GPTBot será protegido de la búsqueda al mismo tiempo. Otro riesgo es que sólo los robots.txt serán cambiados, pero el firewall volverá a 403. Una vez finalizada la configuración, los archivos de robots deben ser revisados desde la red abierta y se debe mantener un registro de aprobación para asegurar que los envíos posteriores no sean invertidos involuntariamente.
Cuando aterrices, debes incluir “clasificación de uso de contenido, estrategia de búsqueda de OAI, estrategia de formación de GPT, logbook y revisión de reglas” en el mismo formulario de lanzamiento, especificando quién es responsable del contenido, quién es responsable de la tecnología, y la fecha de la Cualquier cambio debe ir acompañado de un cheque del contenido visible de la página, código fuente HTML, datos estructurados, enlaces internos y mapas del sitio, para que la recepción se actualice y la capa de lectura de la máquina mantenga sus valores antiguos. GEO no es un plugin de instalación de una sola vez y no garantiza que ninguna plataforma será citada; es un conjunto de contenidos y obras técnicas que mejora continuamente la accesibilidad, validación, atribución y cita de información.
