Robots.txt는 검색 엔진 로봇에 웹사이트를 수집하거나 제한하는 국제 권고안입니다.
보통 대부분의 웹사이트에는 Robots 파일이 필요하지 않습니다.
검색 엔진 로봇이 발전하고 개발되어 웹사이트의 중요 페이지를 찾고 색인을 생성할 수 있기 때문입니다.(인덱싱)
그렇지만 몇몇의 경우 Robots 파일이 필요한 경우가 있습니다.
특정 페이지 비공개
웹사이트에 색인을 생성하고 싶지 않은 페이지가 있다면 Robot.txt 파일 명령을 통해 검색 엔진에 색인 생성을 거절 할 수 있습니다.
로그인 페이지나 개인적인 웹페이지 같은 경우 색인 비공개 요청을 통해 웹사이트의 보안을 강화할 수 있습니다.
대표 검색엔진 Robots
| 검색엔진 | User-Agent |
| Googlebot | |
| Naver | Yeti |
| Daum | Daumoa |
| MSN | MSNBot |
| Google-Image | Googlebot-image |
사용 예시
Robots.txt 파일을 생성하는 것은 매우 간단합니다.
메모장에 Robots의 활동에 대한 명령을 입력하고 Robots.txt로 저장하면 파일이 생성됩니다.
Robots.txt 파일 양식은 아래와 같으며 필요에 따라 대표 Robots, 허용 페이지 경로를 설정하면됩니다.
User-agent: A
Allow: B
예시1. 구글봇이 특정 인벤토리에 접근할 수 있도록 허가하려면 아래와 같이 설정합니다.
| User-agent: Googlebot Allow: /foo/bar/ |
예시2. 네이버봇이 특정 인벤토리에 접근하지 못하도록 차단 하려면 아래와 같이 설정합니다.
| User-agent: Yeti Disallow: /foo/bar/ |
예시3. 모든 로봇이 모든 페이지에 대한 접근을 허가하려면 아래와 같이 설정합니다.
| User-agent: * Allow: / |
예시4. 모든 로봇이 모든 페이지에 접근하지 못하도록 차단하려면 아래와 같이 설정합니다.
| User-agent: * Disallow: / |
예시5. 모든 페이지에 대한 접근을 차단하고 메인 페이지만 허가하려면 아래와 같이 설정합니다.
| User-agent: * Disallow: / Allow: /$ |
댓글