BÀI 8 / 12 · Thực hành
Dùng robots.txt và noindex đúng mục đích
Chọn đúng cách kiểm soát crawl, index và truy cập; kiểm tra quy tắc trước khi đưa lên production.
Ban biên tập FOX9 SEO · Cập nhật nội dung: 28/10/2026 · Hướng dẫn học tập, không phải báo cáo thực nghiệm.
1. Xác định mục tiêu kiểm soát
Viết rõ bạn muốn giảm việc tải tài nguyên, không cho xuất hiện trong chỉ mục hay không cho người ngoài truy cập. Ba mục tiêu này cần cơ chế khác nhau. Robots điều khiển hành vi crawl của tác nhân tuân thủ; noindex là chỉ dẫn về lập chỉ mục mà bot cần đọc được; xác thực và phân quyền mới là lớp kiểm soát truy cập dữ liệu riêng tư.
2. Kiểm tra đúng hostname và đường dẫn
Đọc robots.txt ở gốc hostname cần kiểm tra, không lấy robots của miền chính để suy ra cho mọi subdomain. Đối chiếu nhóm user-agent và đường dẫn của quy tắc với URL cụ thể. Với cấu hình nhiều lớp CDN, proxy và ứng dụng, kiểm tra bản thực sự trả ra ngoài, không chỉ file trong kho mã nguồn.
3. Để bot đọc được noindex
Kiểm tra meta robots trong HTML và X-Robots-Tag trong HTTP, kể cả phản hồi cuối sau redirect. Nếu bot bị robots chặn, nó có thể không đọc được noindex trên trang. Không đưa trang cần index vào nhóm bị chặn chỉ vì muốn tránh trùng lặp; hãy xác định lại mục tiêu trước khi sửa quy tắc.
4. Không dùng robots để giấu dữ liệu
Một đường dẫn bị Disallow vẫn có thể được người biết URL truy cập. Không ghi thông tin nhạy cảm vào robots vì file này công khai. Trang tài khoản cần kiểm tra phiên và quyền ở máy chủ; bài chờ duyệt cần bị loại khỏi đọc công khai, API công khai và sitemap. Chỉ thêm noindex không sửa được lỗi rò rỉ dữ liệu.
5. Kiểm tra trước và sau phát hành
Lưu cấu hình cũ, chọn bộ URL mẫu gồm trang chủ, bài viết, tài nguyên cần render và trang riêng tư. Xác định mong đợi cho từng URL rồi đối chiếu bản trả ra ngoài. Kiểm tra lại sau triển khai, đặc biệt khi sao chép cấu hình từ preview. Nếu vô tình chặn nội dung công khai, hoàn tác cấu hình và xác minh phản hồi trước khi yêu cầu thu thập lại.
6. Nhiệm vụ thực hành
Lập ma trận năm URL: được truy cập công khai không, được crawl không, được index không, cơ chế dùng và bằng chứng kiểm tra. Phải có ít nhất một trang riêng tư và một trang công khai cần index. Hoàn thành khi bạn giải thích được vì sao không dùng cùng một quy tắc cho cả hai.
Áp dụng và tự kiểm tra
Tình huống giả định: /tai-khoan chứa dữ liệu cá nhân, /tim-kiem là trang kết quả nội bộ công khai, /bai-hoc cần index. Chúng không nên dùng chung một cơ chế kiểm soát. Trước khi thay cấu hình phải xác minh trạng thái và chính sách mong muốn.
Đầu ra cần kiểm tra
- Phân biệt crawl, index và truy cập.
- Đọc robots đúng hostname.
- Noindex được kiểm tra cả HTML và HTTP.
Đối chiếu cách suy luận sau khi tự làm
Tài khoản cần xác thực/phân quyền. Trang tìm kiếm cần quyết định riêng về crawl/index; nếu muốn bot đọc noindex, đừng chặn đường đọc chỉ dẫn đó. Bài học công khai cần được truy cập và không vô tình mang noindex.
Không có dữ liệu thật thì ghi “chưa xác định”. Không trình bày ví dụ này như kết quả đã đo trên website thực tế.
Nguồn tham khảo
Các liên kết dưới đây là tài liệu gốc cho khái niệm và chính sách; tình huống và tiêu chí thực hành do FOX9 biên soạn.