Αυτόματη ενημέρωση του robots.txt για τα AI bots

Η Cloudflare παρουσίασε το Bot Preference Sync, μια νέα λειτουργία που διατηρεί αυτόματα συγχρονισμένες τις επιλογές ενός ιστοτόπου για τα AI bots με το αρχείο robots.txt. Η ανακοίνωση έγινε στις 21 Αυγούστου 2026 και αφορά όλους τους πελάτες της εταιρείας, από το δωρεάν πακέτο έως το Enterprise.

Μέχρι σήμερα, ένας διαχειριστής μπορούσε να έχει διαφορετικές ρυθμίσεις στο σύστημα προστασίας της Cloudflare και διαφορετικές οδηγίες στο robots.txt. Αυτή η ασυμφωνία δημιουργούσε σύγχυση σχετικά με το αν ένας crawler επιτρέπεται πραγματικά να προσπελάσει το περιεχόμενο. Με το Bot Preference Sync, η Cloudflare δημιουργεί ή ενημερώνει τις σχετικές εγγραφές του αρχείου ώστε οι δημοσιευμένες οδηγίες να συμφωνούν με την πολιτική που εφαρμόζεται στο άκρο του δικτύου.

Η ρύθμιση διαχωρίζει τα AI bots ανάλογα με τον σκοπό τους σε τρεις κατηγορίες: Search, Agent και Training. Για τα bots αναζήτησης και ψηφιακών πρακτόρων, ο ιδιοκτήτης μπορεί να επιτρέψει την πρόσβαση, να τη μπλοκάρει μόνο σε σελίδες που εμφανίζουν διαφημίσεις ή να την απαγορεύσει παντού. Για την εκπαίδευση μοντέλων υπάρχει επιλογή Disallow, η οποία καταγράφει στο robots.txt την προτίμηση να μη χρησιμοποιείται το περιεχόμενο για training.

Αν ο ιστότοπος διαθέτει ήδη δικό του robots.txt, οι κανόνες που παράγει η Cloudflare προστίθενται στην αρχή του υπάρχοντος αρχείου. Οι προηγούμενες οδηγίες Disallow παραμένουν στη θέση τους, επομένως η ενεργοποίηση της λειτουργίας δεν διαγράφει τους κανόνες που έχει ορίσει ο διαχειριστής. Η λίστα των γνωστών crawlers ενημερώνεται περιοδικά με δεδομένα από το BotBase και οι επαληθευμένοι crawlers εμφανίζονται στον δημόσιο κατάλογο της Cloudflare Radar.

Η εταιρεία επιχειρεί επίσης να ξεχωρίσει την αναζήτηση από την εκπαίδευση. Ένας crawler που χρησιμοποιείται για περισσότερους από έναν σκοπούς μπορεί να συνεχίσει να ευρετηριάζει περιεχόμενο για αναζήτηση, εφόσον παρέχει την απαιτούμενη διαφάνεια και σέβεται την οδηγία “no training”. Αν δεν πληροί αυτές τις προϋποθέσεις, θα εξακολουθεί να μπλοκάρεται όταν ο ιδιοκτήτης έχει απαγορεύσει την εκπαίδευση.

Το Bot Preference Sync μπορεί να ενεργοποιείται ή να απενεργοποιείται οποτεδήποτε. Θα είναι ενεργό από προεπιλογή για νέους πελάτες, ενώ όσοι χρησιμοποιούν την παλαιότερη διαχειριζόμενη έκδοση του robots.txt θα κληθούν να ελέγξουν τις επιλογές τους κατά τη μετάβαση. Η Cloudflare διευκρινίζει ότι η λειτουργία εφαρμόζει πολιτικές ανά κατηγορία και δεν αντιγράφει σύνθετους, εξατομικευμένους κανόνες που προβλέπουν ειδικές εξαιρέσεις για συγκεκριμένους crawlers.

Για εκδότες, ηλεκτρονικά καταστήματα και διαχειριστές ιστοτόπων, η αλλαγή απλοποιεί ένα τεχνικό αλλά κρίσιμο ζήτημα: ποιοι αυτοματοποιημένοι επισκέπτες μπορούν να βλέπουν το περιεχόμενο και για ποια χρήση. Παράλληλα, αναδεικνύει τη νέα πραγματικότητα του διαδικτύου, όπου η ορατότητα στις αναζητήσεις, οι AI απαντήσεις και η εκπαίδευση μοντέλων χρειάζονται διαφορετικούς κανόνες πρόσβασης.

Πηγή: Cloudflare Blog, Cloudflare Developers, LIT Tech News.