Công ty TNHH TMĐT Công nghệ LP

5.0/5 (1 Reviews)

Có bao giờ bạn muốn một nội dung hay liên kết nào đó của trang web mình không xuất hiện trên Google không? Nghe có vẻ hơi ngược đợi, nhưng thực tế thì có đó. Đó là khi bạn không muốn những thông tin mật nội bộ bị index hay đơn giản là giảm sức sử dụng băng thông cho website. 

Robots.txt sẽ giúp bạn hiệu chỉnh điều này. Hãy cùng LPTech hiểu về Robots.txt và cách tạo tệp chuẩn SEO để tối ưu SEO website hiệu quả hơn nha. 

Robots.txt là gì?

Robots.txt là các tập tin có đuôi txt chứa các câu lệnh điều hướng của website. Các bots của Search Engines dựa vào đây để thu thập đúng những dữ liệu mà chủ website mong muốn indexing.

Một website chuẩn SEO là website được thiết kế có các chức năng tự động tạo SitemapRobots.txt vì nếu không có Robots.txt bạn sẽ không thể SEO trang web mình tốt được.

Thiết lập Robots.txt là cách để các webmaster quản lý lưu lượng crawl dữ liệu và ngăn các tệp hình ảnh, video và âm thanh xuất hiện trong kết quả tìm kiếm của Google.

Sau khi Google đọc xong file robots.txt thì sẽ qua sitemap.xml vậy nên tích hợp Robot.txt và Sitemap.xml cùng nhau sẽ giúp bot nhanh chóng thu thập dữ liệu và lập chỉ mục tốt hơn.

Vì sao Robots.txt lại quan trọng trong SEO?

Trong bài hướng dẫn trước của LP Tech về cách hoạt động của Google, thì bạn sẽ biết rằng trong quá trình thu thập thông tin và lập chỉ mục, các Search Engines cố gắng tìm những trang có sẵn công khai trên website, mà chúng có thể đưa vào phần chỉ mục của chúng.

Nên khi "nhện tìm kiếm" truy cập website, robots.txt là tệp mà Google truy cập và đọc đầu tiên. Đơn giản hơn, Robots.txt đóng vai trò như người quản gia của trang web bạn, nó sẽ giới hạn quyền truy cập và lập chỉ mục của từng Google Bot vào trang hay liên kết cụ thể. Do đó website bạn không thể thiếu file robots.txt.

Một ví dụ đơn giản, nếu không có Robots.txt chặn đường dẫn đến Admin website, thì có khả năng đối thủ sẽ search ra trang Admin, hack và ăn cắp thông tin web bạn là điều quá dễ dàng.

Lợi ích của Robots.txt

Ngoài ra, bản chất của Robots.txt này chỉ có quyền cho phép hoặc không cho phép, chứ không có quyền cấm hoặc ngăn chặn tuyệt đối con bót vào những nơi website của mình. Thiết lập Robots.txt và Sitemap.xml đúng cách sẽ góp phần tăng hiệu năng quá trình tối ưu SEO tổng thể:

  1. Ngăn nội dung trùng lặp xuất hiện trong kết quả tìm kiếm
  2. Giữ các phần của một trang web riêng tư
  3. Giữ các trang kết quả tìm kiếm nội bộ không hiển thị trên Kết quả tìm kiếm
  4. Ngăn công cụ tìm kiếm lập chỉ mục các tệp nhất định trên trang web của bạn (hình ảnh, PDF, v.v.)
  5. Chỉ định độ trễ thu thập dữ liệu để ngăn máy chủ của bạn bị quá tải khi trình thu thập dữ liệu tải nhiều phần nội dung cùng một lúc

Cấu trúc của file Robots.txt là gì?

Cấu trúc Robots.txt khá đơn giản, là sự kết hợp các từ khóa hay giá trị được xác định trước mà bạn có thể sử dụng. Bao gồm các định dạng cơ bản sau:

User-agent:

Disallow:

Allow:

Sitemap:

User-agent

User-agent đơn giản là tên của robot công cụ tìm kiếm, điển hình như là Googlebot, Googlebot Image, Googlebot News, Googlebot Video,Bingbot...

Sử dụng chỉ thị * sẽ mang ý nghĩa cho tất cả các trình thu thập dữ liệu, hoặc nếu muốn cho phép một trình nào đó, bạn có chỉ định tên tên cụ thể. Ngoài ra trong một tệp Robots.txt có thể gồm một hoặc nhiều nhóm, bắt đầu bằng user-agent kèm với mục tiêu nhóm cụ thể.

Ví dụ:

User-agent: *

User-agent: Googlebot

User-agent: Googlebot-Image

Disallow

Disallow là chỉ thị hướng dẫn các bot không thu thập dữ liệu các URL cụ thể. Trong đó, kí hiệu / mang ý nghĩa cho"toàn bộ trang web" hoặc bạn có chặn truy cập vào các trang, thư mục hay tệp cụ thể.

Ví dụ:

Disallow: / 

Disallow: / private_file.html 

Disallow: /admin/ 

Allow

Ngược lại với Disallow, Allow là lệnh dùng để chỉ thị cho biết các trang hay thư mục con nào được phép truy cập. Và lệnh này chỉ dành riêng cho bot tìm kiếm Googlebot.

Ở ví dụ này. LP Tech đã chặn thư mục 1, thư mục 2 nhưng cho phép lập chỉ mục thư mục con 1 trong thư mục 2.

User-agent: *

Disallow: /thumuc1/

Disallow: /thumuc2/

Allow: /thumuc2/thumuccon1/

Sitemap

Sitemap.xml là một danh sách các trang trên một website. Khai báo sơ đồ Sitemap.xml trong Robots.txt sẽ hỗ trợ các Search Engines nhanh chóng crawl dữ liệu website bạn và index tốt hơn.

Ví dụ một Robots.txt

User-agent: *
Allow: /
Disallow: /product/filter*
Disallow: /favorite*
Disallow: /cart*
Disallow: /order*
Disallow: /user*
Disallow: /*/detail/*
Disallow: /api*
User-agent: rogerbot
Disallow:/
User-agent: mj12bot
Disallow:/
User-agent: dotbot
Disallow:/
User-agent: exabot
Disallow:/
User-agent: gigabot
Disallow:/
User-agent: AhrefsBot
Disallow: /
User-agent: BacklinkCrawler
Disallow: /
Sitemap: https://lptech.asia/sitemap.xml

Cần lưu ý gì khi tạo tập Robots.txt ?

Để có được file Robots.txt chuẩn SEO, bạn cần phải nắm được cấu trúc các lệnh và một vài nguyên tắc khi thiết lập để chính xác và mang lại hiệu quả nha.

  1. Sử dụng đúng cấu trúc câu lệnh. Nếu các công cụ tìm kiếm không thể hiểu nội dung của tệp tin vì nó có cấu hình sai, họ vẫn truy cập vào trang web và bỏ qua bất cứ điều gì trong robots.txt.
  2. Cần phân biệt chữ hoa hay thường vì mỗi kết quả sẽ khớp khác nhau
  3. Không thêm các ký tự đặc biệt khác
  4. Một câu lệnh nên viết một dòng
  5. Không được dùng khoảng trắng trước câu lệnh

Cách kiểm tra và xác nhận hợp lệ cho file Robot.txt?

Nếu bạn là chủ một doanh nghiệp, băn khoăn không biết website mình đã thiết lập Rotots.txt chưa thì cách kiểm tra đơn giản nhất đó là hay truy cập theo cú pháp sau:

www.example.com/robots.txt

www.lptech.asia/robots.txt

Một cách tốt được các Dịch vụ website chuyên nghiệp sử dụng để kiểm tra Robots.txt là thông qua tùy chọn Robots.txt Tester của Google Search Console.

Đầu tiên bạn search trên google "Robots.txt Tester ", truy cập vào đường dẫn và sau đó nhấp vào Open robots.txt Tester. Giao diện kiểm tra của Google Search Console sẽ hiện ra và bắt đầu test.

Kiểm tra tệp robots.txt trong google search console

Nếu mọi thứ đều ổn, nút Test sẽ chuyển sang màu xanh và thay đổi thành ALLOWED. Nếu xảy ra sự cố, đường kẻ gây ra lỗi sẽ được đánh dấu hoặc được hiện thị ở số WarmingError.

Ngoài ra, nếu bạn muốn thông báo cho Google rằng bạn đã thực hiện thay đổi tệp robots.txt, thi hãy nhấn chọn nút SUBMIT để cập nhật nhé.

Liên hệ tư vấn - LPTech

Thông tin liên hệ

Nếu bạn có thắc mắc gì, có thể gửi yêu cầu cho chúng tôi, và chúng tôi sẽ liên lạc lại với bạn sớm nhất có thể .

Công ty TNHH TMĐT Công nghệ LP

Giấy phép kinh doanh số 0315561312/GP bởi Sở Kế Hoạch và Đầu Tư TP. Hồ Chí Minh.

Văn phòng: Lầu 6, Toà nhà Hoàng Minh, 100 Nguyễn xí, Phường 26, Quận Bình Thạnh, HCMC

Hotline: 0963400885

Mail: sales@lptech.asia

Zalo:033 85 86 864

Liên hệ qua Zalo: 0338586864 ( hoặc bấm vào link này: http://lptech.asia/zalo-lptech). Hoặc nhập thông tin mà bạn cần hỗ trợ vào ô liên hệ bên dưới để lên lạc với LPTech nhé.


Để lại ý kiến của bạn!

Mọi bình luận của bạn sẽ được LPTech kiểm duyệt và trả lời cho bạn ngay sau khi chúng tôi xem xét chúng. Hãy cho chúng tôi biết ý kiến của bạn về bài viết bên trên nhé.


Bài viết cùng chuyên mục

Nên hay không việc sử dụng Ajax trong thiết kế website?

Nên hay không việc sử dụng Ajax trong thiết kế...

Thiết kế website và Ajax- Công nghệ nổi tiếng được ứng dụng thế nào trong các trang web lớn, có nên sử dụng Ajax không, hạn chế của Ajax...

Lợi ích của nút kêu gọi hành động (CTA) trong thiết kế website

Lợi ích của nút kêu gọi hành động (CTA) trong...

Nút kêu gọi hành động CTA được thể hiển dưới dạng hình ảnh, biển chỉ dẫn điều hướng người dùng thực hiện hành động giúp gia tăng tỷ lệ...

8 mẹo nhỏ từ học hỏi đến vượt đối thủ khi làm Content Marketing

8 mẹo nhỏ từ học hỏi đến vượt đối thủ khi làm...

Hành trình từ học hỏi đến trở nên nổi bật hơn đối thủ của bạn là một quá trình dài. Người làm Content Marketing sẽ là yếu tố quyết định...

Instagram Reel là gì? So sánh Instagram Reel và Tik tok

Instagram Reel là gì? So sánh Instagram Reel và...

Cả hai nền tảng Instagram Reels và Tik tok đều có điểm giống nhau đó là bạn có thể thực hiện được các clip âm thanh phục vụ mục đích giáo...

24 lỗi phạt của Google và cách dân SEO xử lý website bị phạt

24 lỗi phạt của Google và cách dân SEO xử lý...

Kiến thức SEO website: Các hình phạt thủ công từ Google cần lưu ý và các bước để khôi phục. Chiến lược phục hồi hiệu suất và thứ hạng...

Evergreen content là gì? Top 7 bước tạo nội dung thường xanh dài hạn

Evergreen content là gì? Top 7 bước tạo nội dung...

Nếu những ai làm SEO hay Content Marketing thì Evergreen Content sẽ là cái tên quen thuộc. Nó là loại content không thể thiếu trong tiếp...

Sứ mệnh của LPTech ?

LPTech luôn đặt mình vào khách hàng để hiểu được bạn đang gặp khó khăn gì? Các doanh nghiệp hiện nay đang gặp khó khăn về việc quản lý vận hành website của mình. Chưa tìm được đối tác ưng ý và an toàn để giao trọn trọng trách quản lý website cho của bạn.

Thiết kế website nhưng lại không thể tăng thu nhập cũng như chưa có đối tác làm Dịch vụ SEO uy tín tin cậy. Chúng tôi hiểu được điều đó nên dành cả tâm huyết của mình để có thể hỗ trợ các doanh nghiệp một cách tốt nhất.