robots.txt는 크롤러가 방문하지 말아야 할 경로를 선언합니다. 공개 콘텐츠의 크롤링 부담을 조절할 때 유용하지만, 민감 정보를 숨기는 보안 장치는 아닙니다.
데모의 규칙 스위치를 누르면 /private 경로의 로봇 이동이 차단됩니다. 규칙을 바꾼 뒤에는 실제 파일 경로와 대상 크롤러의 해석을 확인하세요. 색인 제외가 목표라면 별도의 noindex 처리를 검토해야 합니다.
언제 쓰나
크롤러가 불필요한 경로를 반복 요청할 때 규칙을 설계하고 테스트합니다.