SEO: Διαφορές στη χρήση robots.txt και noindex meta-tag
Του Μιχάλη Δημητρίου*
Ένα βασικό δίλημμά που αντιμετωπίζουν όσοι δε θέλουν να ευρετηριαστεί μια σελίδα στα αποτελέσματα της Google και των άλλων μηχανών αναζήτησης είναι ποιον τρόπο θα χρησιμοποιήσουν. Οι βασικές τεχνικές είναι είτε με χρήση το no-index tag στην περιοχή head του html κώδικά είτε να ορίσουν την σελίδα ως disallow στο αρχείο robots.txt. Υπάρχουν όμως διαφορές στις δύο αυτές μεθόδους.
Το noindex λέει στα bots των μηχανών αναζήτησης που σκανάρουν (crawl) τη σελίδα να μην ευρετηριάσουν αυτή τη σελίδα να μη τη δείχνουν στα αποτελέσματα τους. Τους λέει δηλαδή να τη διαβάσουν αλλά να μη την δείχνουν. Το αρχείο robots.txt με τη σειρά του λέει στα bots των μηχανών αναζήτησης να μη μπούνε καν στην σελίδα. Όχι απλά να μη την δείχνουν αλλά να μη τη διαβάσουν κιόλας. Έτσι όταν δε διαβάζει η google μια σελίδα επειδή υπάρχει ως disallow στο αρχείο robots.txt δε μπορεί να διαβάσει και τα links που υπάρχουν και δεν υπολογίζονται στο PageRank.
Η βασικότερη διαφορά όμως είναι στο Google AdWords, στην περίπτωση που θέλουμε μια σελίδα να μην εμφανίζεται στα οργανικά αποτελέσματα αλλά μόνο στα πληρωμένα του Google AdWords. Για παράδειγμα μια τέτοια σελίδα μπορεί να είναι μια landing page που να δείχνει μια εποχιακή προσφορά. Σε αυτή την περίπτωση χρησιμοποιώντας το robots.txt για να αποφύγουμε την ευρετηρίασή της, στην ουσία αποτρέπουμε το Google Bot να την διαβάσει. Αυτό έχει σαν αποτέλεσμα την μείωση του δείκτη ποιότητας (quality score) και έτσι την αύξηση του κόστους ανά κλικ (CPC) αφού η ίδια η σελίδα προορισμού (landing page) είναι παράγοντας διαμόρφωσης του δείκτη ποιότητας (quality score). Επομένως η καλύτερη πρακτική σε αυτή την περίπτωση είναι η χρήση του meta-tag noindex.
Βέλτιστη χρήση noindex και robots.txt
Στις περισσότερες των περιπτώσεων προτείνεται η χρήση του noindex. Τέτοιες περιπτώσεις μπορεί να είναι μια login σελίδα, μια σελίδα thankyou όταν ολοκληρώνεται μια φόρμα ή μια σελίδα όρων χρήσης. Χρήση του robots.txt προτείνεται για αρχεία που δεν εμπεριέχουν κώδικα επομένως είναι η μοναδική λύση για να αποτραπεί η ευρετηρίασή τους. Τέτοια αρχεία μπορεί να είναι αρχεία εικόνων, ή κείμενων όπως txt, ms-word ή pfd.
*Ο Μιχάλης Δημητρίου εργάζεται στον τομέα των τυχερών παιχνιδιών (iGaming) και στοιχηματισμού ως υπέυθυνος digital marketing στην εξωτική Μάλτα, ενώ παράλληλα υποστηρίζει εταιρείες SEO σε όλο τον κόσμο για έργα ψηφιακής προώθησης. Επίσης είναι όμορφος, πανέξυπνος και πετυχημένος.
Τελευταία ενημέρωση: 31 Μαΐου 2017
