Τρόπος υποβολής ενός ενημερωμένου ή νέου αρχείου Robots.txt

ρομπότ txt

Το γραφείο μας χειρίζεται συμβουλευτική οργανικής αναζήτησης για αρκετούς πωλητές SaaS στον κλάδο. Ένας πελάτης με τον οποίο ξεκινήσαμε πρόσφατα να εργαζόμαστε είχε κάνει μια αρκετά τυπική πρακτική, τοποθετώντας την εφαρμογή του σε έναν υποτομέα και μεταφέροντας τον ιστότοπο του φυλλαδίου στον βασικό τομέα. Αυτή είναι μια συνήθης πρακτική, δεδομένου ότι επιτρέπει τόσο στην ομάδα παραγωγής σας όσο και στην ομάδα μάρκετινγκ να πραγματοποιεί ενημερώσεις όπως απαιτείται χωρίς καμία εξάρτηση από την άλλη.

Ως ένα πρώτο βήμα στην ανάλυση της οργανικής τους αναζήτησης, καταγράψαμε τόσο τους τομείς φυλλάδιων όσο και τους τομείς εφαρμογών σε Webmasters. Τότε εντοπίσαμε ένα άμεσο ζήτημα. Όλες οι σελίδες της εφαρμογής αποκλείονταν από την ευρετηρίαση από τις μηχανές αναζήτησης. Πλοηγηθήκαμε στην καταχώρισή τους robots.txt στους Webmasters και εντοπίσαμε αμέσως το πρόβλημα.

Ενώ προετοιμάζονταν για τη μετεγκατάσταση, η ομάδα ανάπτυξής τους δεν ήθελε τον υποτομέα εφαρμογής να ευρετηριαστεί με αναζήτηση, επομένως δεν επέτρεπε την πρόσβαση σε μηχανές αναζήτησης. Το αρχείο robots.txt είναι ένα αρχείο που βρίσκεται στη ρίζα του ιστότοπού σας - yourdomain.com/robots.txt - αυτό επιτρέπει στη μηχανή αναζήτησης να γνωρίζει εάν πρέπει ή όχι να ανιχνεύσει τον ιστότοπο. Μπορείτε να γράψετε κανόνες για να επιτρέψετε ή να απαγορεύσετε την ευρετηρίαση σε ολόκληρο τον ιστότοπο ή σε συγκεκριμένες διαδρομές. Μπορείτε επίσης να προσθέσετε μια γραμμή για να καθορίσετε το αρχείο χάρτη ιστότοπου.

Το robots.txt Το αρχείο είχε την ακόλουθη καταχώριση που εμπόδισε την ανίχνευση και ευρετηρίαση του ιστότοπου στις κατατάξεις αποτελεσμάτων αναζήτησης:

User-agent: * Disallow: /

Θα έπρεπε να είχε γραφτεί ως εξής:

Αντιπρόσωπος χρήστη: * Να επιτρέπεται: /

Το τελευταίο παρέχει άδεια σε οποιαδήποτε μηχανή αναζήτησης που ανιχνεύει τον ιστότοπο, ώστε να μπορεί να έχει πρόσβαση σε οποιονδήποτε κατάλογο ή αρχείο εντός του ιστότοπου.

Υπέροχο ... έτσι τώρα που το robots.txt Το αρχείο είναι τέλειο, αλλά πώς γνωρίζει η Google και πότε θα ελέγξουν ξανά τον ιστότοπο; Λοιπόν, μπορείτε απολύτως να ζητήσετε από την Google να ελέγξει το robots.txt, αλλά δεν είναι πολύ διαισθητικό.

Πλοηγηθείτε με το Google Search Console Search Console στο Ανίχνευση> δοκιμαστής robots.txt. Θα δείτε τα περιεχόμενα του πιο πρόσφατα ανιχνευμένου αρχείου robots.txt στο Tester. Εάν θέλετε να υποβάλετε ξανά το αρχείο robots.txt, κάντε κλικ στην επιλογή Υποβολή και θα εμφανιστεί ένα αναδυόμενο παράθυρο με μερικές επιλογές.

υποβάλετε ξανά το robots.txt

Η τελική επιλογή είναι Ζητήστε από την Google να ενημερώσει. Κάντε κλικ στο μπλε κουμπί Υποβολή δίπλα σε αυτήν την επιλογή και, στη συνέχεια, μεταβείτε ξανά στο Ανίχνευση> δοκιμαστής robots.txt επιλογή μενού για να φορτώσετε ξανά τη σελίδα. Θα πρέπει τώρα να δείτε το ενημερωμένο αρχείο robots.txt μαζί με μια σφραγίδα ημερομηνίας που δείχνει ότι ανιχνεύτηκε ξανά.

Εάν δεν βλέπετε μια ενημερωμένη έκδοση, μπορείτε να κάνετε κλικ στην υποβολή και να επιλέξετε Προβολή μεταφορτωμένης έκδοσης για να μεταβείτε στο πραγματικό αρχείο robots.txt. Πολλά συστήματα θα αποθηκεύουν προσωρινά το αρχείο. Στην πραγματικότητα, οι υπηρεσίες IIS δημιουργούν αυτό το αρχείο με δυναμικό τρόπο βάσει των κανόνων που εισάγονται μέσω του περιβάλλοντος χρήστη τους. Πιθανότατα θα πρέπει να ενημερώσετε τους κανόνες και να ανανεώσετε την προσωρινή μνήμη για να δημοσιεύσετε ένα νέο αρχείο robots.txt.

robots-txt-tester

Ποια είναι η γνώμη σας;

Αυτός ο ιστότοπος χρησιμοποιεί το Akismet για να μειώσει το spam. Μάθετε πώς επεξεργάζονται τα δεδομένα των σχολίων σας.