이 도구에 대하여
크롤링 규칙을 바탕으로 표준을 준수하는 robots.txt 파일을 생성합니다. 파일은 브라우저에서 로컬로 만들어집니다.
자주 묻는 질문
robots.txt는 어디에 두나요?
크롤러가 찾을 수 있도록 도메인 루트에 둡니다. 예: https://example.com/robots.txt
Disallow는 무슨 역할을 하나요?
규칙을 준수하는 크롤러에게 나열된 경로를 가져오지 말도록 요청합니다. 한 줄에 하나의 경로를 슬래시로 시작하여 작성합니다.