robots.txt 설정은 유튜브나 틱톡, 다른 블로그에도 이미 설명이 많이 나와 있는 주제긴 해요. 그런데 저 같은 50대 입장에서 그 글들을 읽어보면 용어부터 너무 어려워서, 제가 직접 설정해보면서 이해한 걸 조금 더 풀어서 정리해보려고 합니다.
robots.txt가 정확히 뭘 하는 파일인가
robots.txt는 구글이나 네이버 같은 검색엔진의 크롤러(수집 로봇)한테 "내 블로그에서 여기는 돌아다녀도 되고, 여기는 들어오지 마"라고 알려주는 규칙 파일이에요. 여기서 제가 처음에 헷갈렸던 부분이 있는데요, robots.txt는 검색 결과에서 페이지를 숨기는 기능이 아니라는 점이에요. 크롤러의 '접근'을 막는 파일이지, 이미 색인된 페이지를 검색 결과에서 빼는 건 별개로 'noindex' 설정이 해야 할 일이더라고요. 이 둘을 헷갈리면 원하는 결과가 안 나옵니다.
블로그스팟은 이미 기본 설정이 있다
또 하나 알아둘 사실은, 블로그스팟은 별도로 손대지 않아도 기본 robots.txt가 이미 적용돼 있다는 거예요. 기본값에서는 /search 디렉토리(라벨·검색 결과 페이지 등)를 크롤러가 못 들어오게 막아놓고 있습니다. 그런데 제가 라벨(태그)을 이용해서 상단 메뉴를 만들어 놓은 경우엔, 그 메뉴로 연결된 페이지가 검색에 아예 노출이 안 되는 문제가 생겨요. 이럴 때 맞춤 robots.txt로 해당 라벨 경로만 따로 허용(allow)해줘야 검색에 걸립니다. 저는 이걸 몰라서 한동안 제가 만든 메뉴 페이지가 왜 검색에 하나도 안 뜨는지 한참 찾아봤었어요.
이게 왜 중요했나
robots.txt를 손대지 않고 그냥 두면, 검색엔진이 제 블로그의 불필요한 페이지(중복되는 검색 결과 페이지 등)까지 다 긁어가면서 정작 중요한 글의 크롤링 자원을 나눠 쓰게 돼요. 크롤링 자원이라는 게 무한하지 않아서, 불필요한 곳에 낭비되면 새로 올린 글이 색인되는 속도가 늦어질 수 있습니다. 저는 이 부분을 정리하고 나서부터 새 글이 조금 더 빨리 검색에 반영되는 걸 체감했어요.
제가 따라간 설정 순서
- 블로그스팟 관리 화면에서 '설정' 메뉴로 들어갔어요.
- 왼쪽(또는 오른쪽) 메뉴에서 '크롤러 및 색인 생성' 항목을 찾았습니다.
- '맞춤 robots.txt' 옆에 있는 토글 스위치를 오른쪽으로 눌러서 사용 설정으로 켰어요.
- 토글을 켜면 텍스트 입력창이 나타나는데, 여기에 아래처럼 기본 규칙을 넣었습니다.
제가 실제로 넣은 예시는 이런 식이었어요 (본인 블로그 주소로 바꿔서 넣으셔야 해요):
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://내블로그주소.blogspot.com/sitemap.xml
여기서 라벨 메뉴를 따로 쓰고 계시다면, 그 라벨 경로만 'Allow'로 한 줄씩 추가해주시면 됩니다. 저는 5개 정도 메뉴가 있어서 그만큼 Allow 줄을 늘려서 넣었어요.
- 내용을 다 입력한 뒤 화면 아래 '저장' 버튼을 눌렀습니다.
- 제대로 적용됐는지는 주소창에 '내블로그주소/robots.txt'를 직접 입력해서 방금 입력한 내용이 그대로 뜨는지로 확인했어요.
저는 이 설정을 끝내고 나서 서치콘솔의 '색인 생성' 보고서를 며칠 지켜봤는데, 예전보다 불필요한 페이지가 줄고 실제 글 위주로 색인이 잡히는 걸 확인할 수 있었어요. robots.txt 하나로 검색 순위가 확 오르는 건 아니지만, 크롤러가 제 블로그를 더 효율적으로 돌아다니게 도와주는 기초 작업이라고 보시면 됩니다.
댓글 쓰기