Sử dụng thẻ META để chặn bot lập chỉ mục trang web
Bạn có thể sử dụng thẻ <META> cụ thể để yêu cầu robot công cụ tìm kiếm không lập chỉ mục nội dung của một trang web cụ thể.
1. Viết thẻ META ROBOTS
Giống như các thẻ <META> khác được sử dụng trong HTML, chúng phải được đặt trong phần HEAD của mã HTML giống như trong ví dụ trên.
<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”>
Vì vậy, hãy chia nhỏ ví dụ trên hơn nữa.
- Thuộc tính “ NAME ” sẽ luôn là “ ROBOTS “.
- Thuộc tính “ NỘI DUNG ” có thể có bốn giá trị khác nhau: “INDEX”, “NOINDEX”, “FOLLOW”, “NOFOLLOW”
Cho phép nhiều giá trị được phân tách bằng dấu phẩy nhưng chỉ một số kết hợp nhất định mới có ý nghĩa. Nếu không có thẻ <META> cho ROBOTS thì mặc định là “INDEX, FOLLOW” nên không cần chỉ định điều đó. Bạn có thể có những điều sau đây:
<META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> <META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
>>> Xem thêm: Cách ngăn công cụ tìm kiếm thu thập dữ liệu trang web của bạn