Ένα κοινό σήμα στο robots.txt για την εκπαίδευση της AI: τι ανακοίνωσαν Google και Microsoft

Η Google ανακοίνωσε στις 30 Οκτωβρίου ότι θα υποστηρίξει ένα κοινό σήμα στο robots.txt, με το οποίο ένα site θα μπορεί να δηλώνει με μία μόνο γραμμή αν επιτρέπει να χρησιμοποιείται το περιεχόμενό του για την εκπαίδευση μοντέλων AI. Την ίδια μέρα η Microsoft παρουσίασε νέες ρυθμίσεις για το Bing, ενώ η Anthropic, από όπου προέρχεται το σχέδιο, έχει ήδη ξεκινήσει να το εφαρμόζει. Σε αναφορές του κλάδου εμφανίζεται και η OpenAI ανάμεσα στις εταιρείες που στηρίζουν την πρωτοβουλία.

Μέχρι σήμερα, όποιος ήθελε να κρατήσει το περιεχόμενό του έξω από την εκπαίδευση της AI έπρεπε να γνωρίζει και να μπλοκάρει ξεχωριστά τον crawler κάθε εταιρείας. Το νέο σήμα προσπαθεί να το απλοποιήσει: μία δήλωση προτίμησης που ισχύει για όλους όσοι συμμετέχουν. Η Google λέει ότι θα το υποστηρίξει μέσα στο 2027, και η τεκμηρίωσή της για τους crawlers μιλά πιο συγκεκριμένα για τις αρχές της χρονιάς.

Τι αλλάζει

Ένα κοινό «policy token». Το σήμα ονομάζεται __usage_ai-training και βασίζεται σε σχέδιο προτύπου που κατατέθηκε στο IETF στις 30 Οκτωβρίου. Δεν είναι εντολή crawling αλλά δήλωση προτίμησης χρήσης: τι επιτρέπετε να γίνει με το περιεχόμενο, όχι ποιος μπορεί να το διαβάσει. Οι γενικοί κανόνες για όλους τους crawlers δεν μετράνε ως δήλωση για την εκπαίδευση, το σήμα πρέπει να γραφτεί ρητά.

Η σχέση με το Google-Extended. Αν ένα site δηλώσει άρνηση στην εκπαίδευση με το νέο σήμα και δεν έχει ξεχωριστό κανόνα για το Google-Extended, η Google θα το αντιμετωπίσει σαν να έχει μπλοκαριστεί το Google-Extended. Ο ρητός κανόνας για το Google-Extended υπερισχύει. Αυτό έχει σημασία, γιατί το Google-Extended δεν αφορά μόνο την εκπαίδευση αλλά και τη χρήση του περιεχομένου ως πηγής απαντήσεων σε συστήματα όπως οι εφαρμογές Gemini. Τα sites που επιτρέπουν ρητά το Google-Extended παραμένουν επιλέξιμα για αναφορές και κλικ μέσα από το Gemini.

Οι νέες ρυθμίσεις του Bing. Η Microsoft χωρίζει πλέον καθαρά δύο πράγματα: την εκπαίδευση μοντέλων και το grounding, δηλαδή τη χρήση μιας σελίδας ως πηγής για μια απάντηση AI. Η εκπαίδευση ρυθμίζεται για όλο το site ή ανά σελίδα, το grounding μόνο ανά σελίδα. Στο grounding υπάρχει και ενδιάμεση επιλογή, που επιτρέπει τη χρήση μόνο στις δικές της υπηρεσίες, όπως το Copilot, και όχι σε υπηρεσίες τρίτων. Η Microsoft ξεκινά να διαβάζει τις νέες προτιμήσεις από την 1η Φεβρουαρίου 2027, ενώ τα παλιά NoArchive και NoCache παύουν να μετράνε ως προτίμηση για AI μετά την 1η Μαρτίου 2027. Η θέση στα κλασικά αποτελέσματα του Bing δεν επηρεάζεται.

Τι δεν γνωρίζουμε ακόμα

Το πρότυπο είναι ακόμα σχέδιο και μπορεί να αλλάξει πριν οριστικοποιηθεί, ενώ συμμετέχοντες στη συζήτηση λένε ότι υπάρχουν ακόμα σοβαρές διαφωνίες. Δεν υπάρχει ακριβής ημερομηνία για το πότε θα το εφαρμόσει η Google, ούτε δική μας επιβεβαίωση για το χρονοδιάγραμμα της OpenAI. Η δέσμευση είναι εθελοντική: δεν υπάρχει μηχανισμός ελέγχου, και μικρότερες εταιρείες AI δεν έχουν δεσμευτεί. Τέλος, η ανακοίνωση της Google αφορά την εκπαίδευση και δεν φέρνει νέο έλεγχο για τα AI Overviews ή το AI Mode, όπου ισχύουν οι γνωστοί κανόνες ευρετηρίασης και snippets.

Τι σημαίνει για ελληνικές επιχειρήσεις

Για τις περισσότερες ελληνικές επιχειρήσεις το ερώτημα δεν είναι «πώς κρύβομαι από την AI», αλλά το αντίθετο. Ένα ξενοδοχείο στην Κέρκυρα, ένα rent a car στα Χανιά ή ένα ελληνικό e-shop θέλουν να τα προτείνουν το Gemini, το Copilot και το ChatGPT όταν κάποιος ρωτά σε ποιο κατάλυμα να μείνει ή από πού να αγοράσει. Εκεί κρύβεται και ο κίνδυνος: μια βιαστική «άρνηση σε όλα» στο robots.txt, ειδικά μέσα από το Google-Extended, μπορεί να μειώσει την παρουσία σας σε AI απαντήσεις που φέρνουν πελάτες, χωρίς να το καταλάβετε για μήνες.

Διαφορετική είναι η θέση όσων το περιεχόμενο είναι το ίδιο το προϊόν: ειδησεογραφικά sites, εκδότες, όσοι πουλούν γνώση ή πρωτότυπα κείμενα στα ελληνικά. Για αυτούς ο διαχωρισμός εκπαίδευσης και grounding είναι καλό νέο, γιατί επιτρέπει να πουν όχι στη χρήση των κειμένων τους για εκπαίδευση και ναι στις αναφορές που φέρνουν επισκέψεις.

Έχετε περιθώριο έως το 2027, όμως αξίζει να ξέρετε από τώρα τι λέει σήμερα το robots.txt του site σας. Συχνά βλέπουμε κανόνες που έβαλε κάποιο plugin ή ένας παλιός συνεργάτης και που κόβουν crawlers AI χωρίς να το έχει αποφασίσει ο ιδιοκτήτης. Μια γρήγορη αξιολόγηση της ορατότητάς σας στην AI αναζήτηση δείχνει αν το site σας είναι διαθέσιμο εκεί που πρέπει, και η σωστή στρατηγική GEO και AEO ξεκινά από αυτή την απόφαση: τι θέλετε να διαβάζει η AI και τι όχι.

Συχνές ερωτήσεις

Πότε θα ισχύσει το κοινό σήμα για την εκπαίδευση AI στη Google;

Η Google λέει ότι θα το υποστηρίξει μέσα στο 2027, με την τεκμηρίωσή της να μιλά για τις αρχές της χρονιάς. Ακριβής ημερομηνία δεν έχει δοθεί.

Επηρεάζει το νέο σήμα τη θέση μου στα αποτελέσματα της Google;

Η ανακοίνωση αφορά την εκπαίδευση μοντέλων. Αν όμως χρησιμοποιηθεί χωρίς ξεχωριστό κανόνα για το Google-Extended, η Google θα το διαβάσει ως μπλοκάρισμα του Google-Extended, που επηρεάζει και τις αναφορές στο Gemini.

Τι αλλάζει στο Bing;

Η Microsoft χωρίζει την εκπαίδευση από τη χρήση σελίδων ως πηγής για απαντήσεις AI. Θα διαβάζει τις νέες προτιμήσεις από την 1η Φεβρουαρίου 2027 και η θέση στα κλασικά αποτελέσματα δεν επηρεάζεται.