File robots.txt là gì, cách dùng

Robots.txt là một tệp văn bản được đặt trên website để chỉ định cho các robot của công cụ tìm kiếm biết được trang web nào nên được truy cập và trang web nào không nên được truy cập. Tệp robots.txt được đặt trong thư mục gốc của trang web và nói cho các robot […]