Robots.txt là gì? Cách tạo file Robots.txt cho WordPress

Robots.txt là gì?

Robots.txt là một tập tin đặc biệt chứa văn bản (không phải HTML) được đặt trong thư mục root của website (ngang hàng với index.php).

File Robots.txt

Robots.txt có tác dụng cho phép hay không cho phép các công cụ tìm kiếm truy cập đến những trang mà bạn quy định trong trong nó, giúp cho những trang này nhanh chóng được index hoặc không được index trên các kết quả tìm kiếm. Đây chính là một công cụ cực kì hữu ích giúp tăng tốc độ index trong quá trình Làm SEO.

Cấu trúc cơ bản của file robots.txt

User-agent: đối tượng bot được chấp nhận

Disallow/Allow: URL muốn chặn/cho phép

Nếu dùng *: Đại diện cho tất cả

Ví dụ:

User-agent: *

Disallow: /wp-admin/

– Chú thích:

User-agent: * =>>Cho phép tất cả loại Bot truy cập vào website của bạn.

Disallow: /wp-admin/ =>> Chặn không cho Bot truy cập vào thư mục wp-admin và những thứ bên trong nó.

Các User Agent của Google

Google có vài User Agent chính với những nhiệm vụ khác nhau. Bạn có thể ngăn chặn chúng không cho truy cập vào website với dòng lệnh User-agent tương ứng trong file robots.txt. Tuy nhiên chúng ta không nên làm việc này, chỉ hiểu để biết thôi nhé, nếu có chặn thì hãy chặn những Spam Bot thôi.

Googlebot: Đánh chỉ số từ các chỉ mục mới và cũ.
Googlebot-Mobile: Đánh chỉ số cho thiết bị di động.
Googlebot-Image: Đánh chỉ số cho các file ảnh.
Mediapartners-Google: Xuất hiện trong các trang dăng quảng cáo của Google Adsense.
Adsbot-Google: Đánh chỉ số các trang được nhà quảng cáo sử dụng giới thiệu sản phẩm hay dịch vụ thông qua Google Adwords. Nó cho phép đánh giá chất lượng của trang dùng dịch vụ Adwords.

Cách sử dụng robots.txt

Hầu hết các website hiện nay đều sử dụng robots.txt với cấu trúc cho phép tất cả các Bot truy cập website, chặn những thư mục “nhạy cảm“, khai báo sitemap (sơ đồ trang web).

– Cấu trúc file robots.txt chuẩn cho WordPress:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /search?q=*

Disallow: *?replytocom

Disallow: */attachment/*

Disallow: /images/

Allow: /*.js

Allow: /*.css

Sitemap: http://tenmien.com/sitemap.xml

Cách tạo robots.txt tự động

Google Webmaster Tools có một công cụ giúp tạo file robots.txt rất đơn giản, bạn chỉ việc vào Thu thập dữ liệu >Bộ kiểm tra robots.txt và tiến hành tạo cho mình một file robots.txt. Đừng quên lưu lại, tải về và upload lên thư mục root của website.

Ngoài ra, có một công cụ có thể tạo robots.txt online đó là Robots Generator. Bạn sẽ có thể tạo cho mình một file robots.txt như ý rất dễ dàng với công cụ này.

Kết luận

Như vậy là chúng ta đã tìm hiểu về cấu trúc của robots.txt và cách tạo file robots.txt rồi. Tuy đây là một tập tin đơn giản những có chức năng rất quan trọng giúp những công cụ tìm kiếm dễ dàng index những thông tin nóng hổi trên trang web của bạn thường xuyên nhất.

robots file robots toi uu seo seo onpage bot google thiet ke web wordpress