Công ty TNHH TMĐT Công nghệ LP

Điện thoại: 0963 400 885

5.0/5 (1 Reviews)

Có bao giờ bạn muốn một nội dung hay liên kết nào đó của trang web mình không xuất hiện trên Google không? Nghe có vẻ hơi ngược đợi, nhưng thực tế thì có đó. Đó là khi bạn không muốn những thông tin mật nội bộ bị index hay đơn giản là giảm sức sử dụng băng thông cho website. 

Robots.txt sẽ giúp bạn hiệu chỉnh điều này. Hãy cùng LPTech hiểu về Robots.txt và cách tạo tệp chuẩn SEO để tối ưu SEO website hiệu quả hơn nha. 

Robots.txt là gì?

Robots.txt là các tập tin có đuôi txt chứa các câu lệnh điều hướng của website. Các bots của Search Engines dựa vào đây để thu thập đúng những dữ liệu mà chủ website mong muốn indexing.

Một website chuẩn SEO là website được thiết kế có các chức năng tự động tạo SitemapRobots.txt vì nếu không có Robots.txt bạn sẽ không thể SEO trang web mình tốt được.

Thiết lập Robots.txt là cách để các webmaster quản lý lưu lượng crawl dữ liệu và ngăn các tệp hình ảnh, video và âm thanh xuất hiện trong kết quả tìm kiếm của Google.

Sau khi Google đọc xong file robots.txt thì sẽ qua sitemap.xml vậy nên tích hợp Robot.txt và Sitemap.xml cùng nhau sẽ giúp bot nhanh chóng thu thập dữ liệu và lập chỉ mục tốt hơn.

Vì sao Robots.txt lại quan trọng trong SEO?

Trong bài hướng dẫn trước của LP Tech về cách hoạt động của Google, thì bạn sẽ biết rằng trong quá trình thu thập thông tin và lập chỉ mục, các Search Engines cố gắng tìm những trang có sẵn công khai trên website, mà chúng có thể đưa vào phần chỉ mục của chúng.

Nên khi "nhện tìm kiếm" truy cập website, robots.txt là tệp mà Google truy cập và đọc đầu tiên. Đơn giản hơn, Robots.txt đóng vai trò như người quản gia của trang web bạn, nó sẽ giới hạn quyền truy cập và lập chỉ mục của từng Google Bot vào trang hay liên kết cụ thể. Do đó website bạn không thể thiếu file robots.txt.

Một ví dụ đơn giản, nếu không có Robots.txt chặn đường dẫn đến Admin website, thì có khả năng đối thủ sẽ search ra trang Admin, hack và ăn cắp thông tin web bạn là điều quá dễ dàng.

Lợi ích của Robots.txt

Ngoài ra, bản chất của Robots.txt này chỉ có quyền cho phép hoặc không cho phép, chứ không có quyền cấm hoặc ngăn chặn tuyệt đối con bót vào những nơi website của mình. Thiết lập Robots.txt và Sitemap.xml đúng cách sẽ góp phần tăng hiệu năng quá trình tối ưu SEO tổng thể:

  1. Ngăn nội dung trùng lặp xuất hiện trong kết quả tìm kiếm
  2. Giữ các phần của một trang web riêng tư
  3. Giữ các trang kết quả tìm kiếm nội bộ không hiển thị trên Kết quả tìm kiếm
  4. Ngăn công cụ tìm kiếm lập chỉ mục các tệp nhất định trên trang web của bạn (hình ảnh, PDF, v.v.)
  5. Chỉ định độ trễ thu thập dữ liệu để ngăn máy chủ của bạn bị quá tải khi trình thu thập dữ liệu tải nhiều phần nội dung cùng một lúc

Cấu trúc của file Robots.txt là gì?

Cấu trúc Robots.txt khá đơn giản, là sự kết hợp các từ khóa hay giá trị được xác định trước mà bạn có thể sử dụng. Bao gồm các định dạng cơ bản sau:

User-agent:

Disallow:

Allow:

Sitemap:

User-agent

User-agent đơn giản là tên của robot công cụ tìm kiếm, điển hình như là Googlebot, Googlebot Image, Googlebot News, Googlebot Video,Bingbot...

Sử dụng chỉ thị * sẽ mang ý nghĩa cho tất cả các trình thu thập dữ liệu, hoặc nếu muốn cho phép một trình nào đó, bạn có chỉ định tên tên cụ thể. Ngoài ra trong một tệp Robots.txt có thể gồm một hoặc nhiều nhóm, bắt đầu bằng user-agent kèm với mục tiêu nhóm cụ thể.

Ví dụ:

User-agent: *

User-agent: Googlebot

User-agent: Googlebot-Image

Disallow

Disallow là chỉ thị hướng dẫn các bot không thu thập dữ liệu các URL cụ thể. Trong đó, kí hiệu / mang ý nghĩa cho"toàn bộ trang web" hoặc bạn có chặn truy cập vào các trang, thư mục hay tệp cụ thể.

Ví dụ:

Disallow: / 

Disallow: / private_file.html 

Disallow: /admin/ 

Allow

Ngược lại với Disallow, Allow là lệnh dùng để chỉ thị cho biết các trang hay thư mục con nào được phép truy cập. Và lệnh này chỉ dành riêng cho bot tìm kiếm Googlebot.

Ở ví dụ này. LP Tech đã chặn thư mục 1, thư mục 2 nhưng cho phép lập chỉ mục thư mục con 1 trong thư mục 2.

User-agent: *

Disallow: /thumuc1/

Disallow: /thumuc2/

Allow: /thumuc2/thumuccon1/

Sitemap

Sitemap.xml là một danh sách các trang trên một website. Khai báo sơ đồ Sitemap.xml trong Robots.txt sẽ hỗ trợ các Search Engines nhanh chóng crawl dữ liệu website bạn và index tốt hơn.

Ví dụ một Robots.txt

User-agent: *
Allow: /
Disallow: /product/filter*
Disallow: /favorite*
Disallow: /cart*
Disallow: /order*
Disallow: /user*
Disallow: /*/detail/*
Disallow: /api*
User-agent: rogerbot
Disallow:/
User-agent: mj12bot
Disallow:/
User-agent: dotbot
Disallow:/
User-agent: exabot
Disallow:/
User-agent: gigabot
Disallow:/
User-agent: AhrefsBot
Disallow: /
User-agent: BacklinkCrawler
Disallow: /
Sitemap: https://lptech.asia/sitemap.xml

Cần lưu ý gì khi tạo tập Robots.txt ?

Để có được file Robots.txt chuẩn SEO, bạn cần phải nắm được cấu trúc các lệnh và một vài nguyên tắc khi thiết lập để chính xác và mang lại hiệu quả nha.

  1. Sử dụng đúng cấu trúc câu lệnh. Nếu các công cụ tìm kiếm không thể hiểu nội dung của tệp tin vì nó có cấu hình sai, họ vẫn truy cập vào trang web và bỏ qua bất cứ điều gì trong robots.txt.
  2. Cần phân biệt chữ hoa hay thường vì mỗi kết quả sẽ khớp khác nhau
  3. Không thêm các ký tự đặc biệt khác
  4. Một câu lệnh nên viết một dòng
  5. Không được dùng khoảng trắng trước câu lệnh

Cách kiểm tra và xác nhận hợp lệ cho file Robot.txt?

Nếu bạn là chủ một doanh nghiệp, băn khoăn không biết website mình đã thiết lập Rotots.txt chưa thì cách kiểm tra đơn giản nhất đó là hay truy cập theo cú pháp sau:

www.example.com/robots.txt

www.lptech.asia/robots.txt

Một cách tốt được các Dịch vụ website chuyên nghiệp sử dụng để kiểm tra Robots.txt là thông qua tùy chọn Robots.txt Tester của Google Search Console.

Đầu tiên bạn search trên google "Robots.txt Tester ", truy cập vào đường dẫn và sau đó nhấp vào Open robots.txt Tester. Giao diện kiểm tra của Google Search Console sẽ hiện ra và bắt đầu test.

Kiểm tra tệp robots.txt trong google search console

Nếu mọi thứ đều ổn, nút Test sẽ chuyển sang màu xanh và thay đổi thành ALLOWED. Nếu xảy ra sự cố, đường kẻ gây ra lỗi sẽ được đánh dấu hoặc được hiện thị ở số WarmingError.

Ngoài ra, nếu bạn muốn thông báo cho Google rằng bạn đã thực hiện thay đổi tệp robots.txt, thi hãy nhấn chọn nút SUBMIT để cập nhật nhé.

Thông tin liên hệ

Nếu bạn có thắc mắc gì, có thể gửi yêu cầu cho chúng tôi, và chúng tôi sẽ liên lạc lại với bạn sớm nhất có thể .

Công ty TNHH TMĐT Công nghệ LP

Giấy phép kinh doanh số 0315561312/GP bởi Sở Kế Hoạch và Đầu Tư TP. Hồ Chí Minh.

96/76 Đường Trục, Phường 13, Quận Bình Thạnh, HCMC

Hotline: 0963400885

Mail: ceo@levanphu.info

Zalo:033 85 86 864

Liên hệ qua Zalo: 0338586864 ( hoặc bấm vào link này: http://lptech.asia/zalo-lptech). Hoặc nhập thông tin mà bạn cần hỗ trợ vào ô liên hệ bên dưới để lên lạc với LPTech nhé.


Liên hệ với LPTech ngay!



Bài viết cùng chuyên mục

Công nghệ thiết kế web cho thuê bất động sản đem lại hiệu quả kinh tế
2020-08-07 16:55:57

Công nghệ thiết kế web cho thuê bất động sản đem lại hiệu quả kinh tế

Thiết kế web bất động sản đúng cách với những công nghệ hiện đại làm gia tăng hiệu quả kinh doanh...

Schema là gì và ảnh hưởng thế nào đối với website trong SEO
2020-08-06 23:19:26

Schema là gì và ảnh hưởng thế nào đối với website trong SEO

Tích hợp dữ liệu cấu trúc schema cho website là kỹ thuật quan trọng giúp tối ưu SEO Onpage hiệu...

Copywriter là gì? Content Copywriter trong SEO ảnh hưởng thế nào ?
2020-08-03 16:23:38

Copywriter là gì? Content Copywriter trong SEO ảnh hưởng thế nào ?

SEO Copywriter là linh hồn và một phần quan trọng quyết định thành bại của cả quá trình tối ưu...

Xu hướng kinh doanh bất động sản từ website 2021
2020-08-03 13:36:16

Xu hướng kinh doanh bất động sản từ website 2021

Xu hướng thiết kế web bất động sản trong kinh doanh được dự báo sẽ trở nên phổ biến và có sức lan...

Sứ mệnh của LPTech ?

LPTech luôn đặt mình vào khách hàng để hiểu được bạn đang gặp khó khăn gì? Các doanh nghiệp hiện nay đang gặp khó khăn về việc quản lý vận hành website của mình. Chưa tìm được đối tác ưng ý và an toàn để giao trọn trọng trách quản lý website cho của bạn.

Thiết kế website nhưng lại không thể tăng thu nhập cũng như chưa có đối tác làm Dịch vụ SEO uy tín tin cậy. Chúng tôi hiểu được điều đó nên dành cả tâm huyết của mình để có thể hỗ trợ các doanh nghiệp một cách tốt nhất.