Công ty TNHH TMĐT Công nghệ LP

5.0/5 (913 Reviews)

Có bao giờ bạn muốn một nội dung hay liên kết nào đó của trang web mình không xuất hiện trên Google không? Nghe có vẻ hơi ngược đợi, nhưng thực tế thì có đó. Đó là khi bạn không muốn những thông tin mật nội bộ bị index hay đơn giản là giảm sức sử dụng băng thông cho website. 

Robots.txt sẽ giúp bạn hiệu chỉnh điều này. Hãy cùng LPTech hiểu về Robots.txt và cách tạo tệp chuẩn SEO để tối ưu SEO website hiệu quả hơn nha. 

Robots.txt là gì?

Robots.txt là các tập tin có đuôi txt chứa các câu lệnh điều hướng của website. Các bots của Search Engines dựa vào đây để thu thập đúng những dữ liệu mà chủ website mong muốn indexing.

Robots.txt là gì?

Một website chuẩn SEO là website được thiết kế có các chức năng tự động tạo SitemapRobots.txt vì nếu không có Robots.txt bạn sẽ không thể SEO trang web mình tốt được.

Thiết lập Robots.txt là cách để các webmaster quản lý lưu lượng crawl dữ liệu và ngăn các tệp hình ảnh, video và âm thanh xuất hiện trong kết quả tìm kiếm của Google.

Sau khi Google đọc xong file robots.txt thì sẽ qua sitemap.xml vậy nên tích hợp Robot.txt và Sitemap.xml cùng nhau sẽ giúp bot nhanh chóng thu thập dữ liệu và lập chỉ mục tốt hơn.

Vì sao Robots.txt lại quan trọng trong SEO?

Trong bài hướng dẫn trước của LP Tech về cách hoạt động của Google, thì bạn sẽ biết rằng trong quá trình thu thập thông tin và lập chỉ mục, các Search Engines cố gắng tìm những trang có sẵn công khai trên website, mà chúng có thể đưa vào phần chỉ mục của chúng.

Nên khi "nhện tìm kiếm" truy cập website, robots.txt là tệp mà Google truy cập và đọc đầu tiên. Đơn giản hơn, Robots.txt đóng vai trò như người quản gia của trang web bạn, nó sẽ giới hạn quyền truy cập và lập chỉ mục của từng Google Bot vào trang hay liên kết cụ thể. Do đó website bạn không thể thiếu file robots.txt.

Một ví dụ đơn giản, nếu không có Robots.txt chặn đường dẫn đến Admin website, thì có khả năng đối thủ sẽ search ra trang Admin, hack và ăn cắp thông tin web bạn là điều quá dễ dàng.

Lợi ích của Robots.txt

Ngoài ra, bản chất của Robots.txt này chỉ có quyền cho phép hoặc không cho phép, chứ không có quyền cấm hoặc ngăn chặn tuyệt đối con bót vào những nơi website của mình. Thiết lập Robots.txt và Sitemap.xml đúng cách sẽ góp phần tăng hiệu năng quá trình tối ưu SEO tổng thể:

  1. Ngăn nội dung trùng lặp xuất hiện trong kết quả tìm kiếm
  2. Giữ các phần của một trang web riêng tư
  3. Giữ các trang kết quả tìm kiếm nội bộ không hiển thị trên Kết quả tìm kiếm
  4. Ngăn công cụ tìm kiếm lập chỉ mục các tệp nhất định trên trang web của bạn (hình ảnh, PDF, v.v.)
  5. Chỉ định độ trễ thu thập dữ liệu để ngăn máy chủ của bạn bị quá tải khi trình thu thập dữ liệu tải nhiều phần nội dung cùng một lúc

Cấu trúc của file Robots.txt là gì?

Cấu trúc Robots.txt khá đơn giản, là sự kết hợp các từ khóa hay giá trị được xác định trước mà bạn có thể sử dụng. Bao gồm các định dạng cơ bản sau:

User-agent:

Disallow:

Allow:

Sitemap:

User-agent

User-agent đơn giản là tên của robot công cụ tìm kiếm, điển hình như là Googlebot, Googlebot Image, Googlebot News, Googlebot Video,Bingbot...

Sử dụng chỉ thị * sẽ mang ý nghĩa cho tất cả các trình thu thập dữ liệu, hoặc nếu muốn cho phép một trình nào đó, bạn có chỉ định tên tên cụ thể. Ngoài ra trong một tệp Robots.txt có thể gồm một hoặc nhiều nhóm, bắt đầu bằng user-agent kèm với mục tiêu nhóm cụ thể.

Ví dụ:

User-agent: *

User-agent: Googlebot

User-agent: Googlebot-Image

Disallow

Disallow là chỉ thị hướng dẫn các bot không thu thập dữ liệu các URL cụ thể. Trong đó, kí hiệu / mang ý nghĩa cho"toàn bộ trang web" hoặc bạn có chặn truy cập vào các trang, thư mục hay tệp cụ thể.

Ví dụ:

Disallow: / 

Disallow: / private_file.html 

Disallow: /admin/ 

Allow

Ngược lại với Disallow, Allow là lệnh dùng để chỉ thị cho biết các trang hay thư mục con nào được phép truy cập. Và lệnh này chỉ dành riêng cho bot tìm kiếm Googlebot.

Ở ví dụ này. LP Tech đã chặn thư mục 1, thư mục 2 nhưng cho phép lập chỉ mục thư mục con 1 trong thư mục 2.

User-agent: *

Disallow: /thumuc1/

Disallow: /thumuc2/

Allow: /thumuc2/thumuccon1/

Sitemap

Sitemap.xml là một danh sách các trang trên một website. Khai báo sơ đồ Sitemap.xml trong Robots.txt sẽ hỗ trợ các Search Engines nhanh chóng crawl dữ liệu website bạn và index tốt hơn.

Ví dụ một Robots.txt

User-agent: *
Allow: /
Disallow: /product/filter*
Disallow: /favorite*
Disallow: /cart*
Disallow: /order*
Disallow: /user*
Disallow: /*/detail/*
Disallow: /api*
User-agent: rogerbot
Disallow:/
User-agent: mj12bot
Disallow:/
User-agent: dotbot
Disallow:/
User-agent: exabot
Disallow:/
User-agent: gigabot
Disallow:/
User-agent: AhrefsBot
Disallow: /
User-agent: BacklinkCrawler
Disallow: /
Sitemap: https://lptech.asia/sitemap.xml

Cần lưu ý gì khi tạo tập Robots.txt ?

Để có được file Robots.txt chuẩn SEO, bạn cần phải nắm được cấu trúc các lệnh và một vài nguyên tắc khi thiết lập để chính xác và mang lại hiệu quả nha.

  1. Sử dụng đúng cấu trúc câu lệnh. Nếu các công cụ tìm kiếm không thể hiểu nội dung của tệp tin vì nó có cấu hình sai, họ vẫn truy cập vào trang web và bỏ qua bất cứ điều gì trong robots.txt.
  2. Cần phân biệt chữ hoa hay thường vì mỗi kết quả sẽ khớp khác nhau
  3. Không thêm các ký tự đặc biệt khác
  4. Một câu lệnh nên viết một dòng
  5. Không được dùng khoảng trắng trước câu lệnh

Cách kiểm tra và xác nhận hợp lệ cho file Robot.txt?

Nếu bạn là chủ một doanh nghiệp, băn khoăn không biết website mình đã thiết lập Rotots.txt chưa thì cách kiểm tra đơn giản nhất đó là hay truy cập theo cú pháp sau:

www.example.com/robots.txt

www.lptech.asia/robots.txt

Một cách tốt được các Dịch vụ SEO chuyên nghiệp sử dụng để kiểm tra Robots.txt là thông qua tùy chọn Robots.txt Tester của Google Search Console.

Đầu tiên bạn search trên google "Robots.txt Tester ", truy cập vào đường dẫn và sau đó nhấp vào Open robots.txt Tester. Giao diện kiểm tra của Google Search Console sẽ hiện ra và bắt đầu test.

Kiểm tra tệp robots.txt trong google search console

Nếu mọi thứ đều ổn, nút Test sẽ chuyển sang màu xanh và thay đổi thành ALLOWED. Nếu xảy ra sự cố, đường kẻ gây ra lỗi sẽ được đánh dấu hoặc được hiện thị ở số WarmingError.

Ngoài ra, nếu bạn muốn thông báo cho Google rằng bạn đã thực hiện thay đổi tệp robots.txt, thi hãy nhấn chọn nút SUBMIT để cập nhật nhé.

Liên hệ tư vấn - LPTech

Thông tin liên hệ

Nếu bạn có thắc mắc gì, có thể gửi yêu cầu cho chúng tôi, và chúng tôi sẽ liên lạc lại với bạn sớm nhất có thể .

Công ty TNHH TMĐT Công nghệ LP

Giấy phép kinh doanh số 0315561312/GP bởi Sở Kế Hoạch và Đầu Tư TP. Hồ Chí Minh.

Văn phòng: Lầu 4, Toà nhà Lê Trí, 164 Phan Văn Trị, Phường 12,Quận Bình Thạnh, HCMC

Hotline: 0338 586 864

Mail: sales@lptech.asia

Zalo OA:LP Tech Zalo Official

Zalo Sales:033 85 86 86 64 (Sales)


Bài viết cùng chuyên mục

Sapo là gì? Vai trò và cách viết 1 đoạn sapo hấp dẫn, lôi cuốn

Sapo là gì? Vai trò và cách viết 1 đoạn sapo hấp...

Sapo là gì? Sapo là đoạn tóm tắt của bài viết để người dùng có thể nắm bắt được nội dung chính. Đoạn sapo hấp dẫn sẽ thu hút được nhiều...

Slug là gì? Tầm quan trọng và cách tối ưu slug cho website

Slug là gì? Tầm quan trọng và cách tối ưu slug...

Slug là gì? Đây là một yếu tố có thể chỉnh sửa được trong URL của Wordpress, nó có các ký tự chữ, số, dấu gạch ngang và được đặt sau tên...

Disavow Link là gì? Cách gỡ phạt tác vụ thủ công từ Google

Disavow Link là gì? Cách gỡ phạt tác vụ thủ công...

Tìm hiểu Disavow Link là gì và cách sử dụng công cụ này để gỡ bỏ hình phạt tác vụ thủ công từ Google. Chia sẻ kinh nghiệm thực tế từ...

Bộ nhận diện thương hiệu gồm những gì? Tại sao lại cần có nhận diện thương hiệu chuẩn

Bộ nhận diện thương hiệu gồm những gì? Tại sao...

Bộ nhận diện thương hiệu được sử dụng để xây dựng và truyền tải hình ảnh của một doanh nghiệp đến với khách hàng. Vậy bộ nhận diện thương...

10 cách nén, giảm dung lượng ảnh online miễn phí 2024

10 cách nén, giảm dung lượng ảnh online miễn phí...

Giảm dung lượng ảnh là biện pháp giúp ảnh vẫn đảm bảo chất lượng nhưng không làm nặng hệ thống khi upload. Tìm hiểu 10 cách nén, giảm...

Chiến lược giá là gì? Cách xây dựng chiến lược giá đem lại tỷ lệ lợi nhuận cao

Chiến lược giá là gì? Cách xây dựng chiến lược...

Chiến lược giá là chiến lược quan trọng giúp xác định được mức giá bán ra của sản phẩm. Vậy vai trò của chiến lược giá là gì? Cách xây...

Sứ mệnh của LPTech ?

LPTech luôn đặt mình vào khách hàng để hiểu được bạn đang gặp khó khăn gì? Các doanh nghiệp hiện nay đang gặp khó khăn về việc quản lý vận hành website của mình. Chưa tìm được đối tác ưng ý và an toàn để giao trọn trọng trách quản lý website cho của bạn.

Thiết kế website nhưng lại không thể tăng thu nhập cũng như chưa có đối tác làm Dịch vụ SEO uy tín tin cậy. Chúng tôi hiểu được điều đó nên dành cả tâm huyết của mình để có thể hỗ trợ các doanh nghiệp một cách tốt nhất.