Πώς να προσθέσετε το αρχείο robots.txt στο Next.js;

Στην έκδοση Next.js Version 9+, μπορείτε να προσθέσετε το αρχείο robots.txt σε δημόσιο φάκελο κάτω από το root. Τα πάντα μέσα στον δημόσιο φάκελο θα εκτεθούν στο επίπεδο του ριζικού τομέα. Εδώ υποθέτουμε ότι έχετε στατικό αρχείο robots.txt.

https://annacoding.com/robots.txt

Αλλά αν το βάλετε σε στατικό φάκελο, το αρχείο robots.txt θα εμφανιστεί ως

https://annacoding.com/static/robots.txt

Αυτό δεν θέλουμε.

Αν δεν είστε εξοικειωμένοι με το robots.txt, ελέγξτε:

Τι είναι το αρχείο robots.txt;

Το Robots.txt είναι ένα webmaster αρχείο κειμένου που δημιουργεί για να δώσει εντολή σε ρομπότ ιστού (συνήθως ρομπότ μηχανών αναζήτησης) πώς να ανιχνεύσουν σελίδες στον ιστότοπό τους.