robots.txt

Robots.txt

크롤러에 어떤 경로를 요청하지 말라고 알리는 사이트 규칙 파일입니다.

···
html
<div class="robot"><div class="rule"><b>robots.txt</b><code>User-agent: *<br><span id="directive">Disallow: /private</span></code><button id="toggle">TOGGLE RULE</button></div><div class="route"><div>● crawler</div><div class="arrow">→</div><div class="target" id="target">/private <strong>BLOCKED</strong></div></div></div>
css
.robot{width:min(90%,590px);display:grid;gap:clamp(8px,2vmin,18px);font:800 clamp(10px,max(1.8vmin,1vw),15px) sans-serif;color:var(--fg)}.rule{display:grid;gap:5px;border:1px solid var(--line);padding:clamp(9px,2vmin,18px);background:var(--surface)}.rule b{color:var(--accent)}code{font:700 clamp(10px,max(1.7vmin,1vw),15px)/1.35 monospace}.rule button{justify-self:start;background:var(--fg);color:var(--bg);border:0;padding:5px 10px;font:inherit;cursor:pointer}.route{display:flex;justify-content:space-between;align-items:center}.arrow{font-size:clamp(20px,4vmin,35px);color:var(--accent);animation:walk 1.8s ease-in-out infinite alternate}.target{border:2px solid var(--accent);padding:clamp(6px,1.5vmin,13px);display:grid;gap:3px}.target strong{color:var(--accent);font-size:max(10px,1vw,.75em)}.target.open{border-color:var(--accent-2)}.target.open strong{color:var(--accent-2)}@keyframes walk{to{transform:translateX(14px);opacity:.35}}@media(min-width:700px){body > :not(script){zoom:1.55}.map,.feed,.linkmap{height:48%}}
js
const target=document.querySelector('#target'),directive=document.querySelector('#directive'),button=document.querySelector('#toggle');let blocked=true;function show(){target.classList.toggle('open',!blocked);target.querySelector('strong').textContent=blocked?'BLOCKED':'OPEN';directive.textContent=blocked?'Disallow: /private':'Disallow: /tmp'}button.addEventListener('click',()=>{clearInterval(timer);blocked=!blocked;show()});const timer=setInterval(()=>{blocked=!blocked;show()},2500);

robots.txt는 크롤러가 방문하지 말아야 할 경로를 선언합니다. 공개 콘텐츠의 크롤링 부담을 조절할 때 유용하지만, 민감 정보를 숨기는 보안 장치는 아닙니다.

데모의 규칙 스위치를 누르면 /private 경로의 로봇 이동이 차단됩니다. 규칙을 바꾼 뒤에는 실제 파일 경로와 대상 크롤러의 해석을 확인하세요. 색인 제외가 목표라면 별도의 noindex 처리를 검토해야 합니다.

언제 쓰나

크롤러가 불필요한 경로를 반복 요청할 때 규칙을 설계하고 테스트합니다.

페이지로 열기 ↗