애드센스 사이트맵·robots.txt 확인, 수집/노출 문제를 만드는 흔한 실수와 점검 방법

애드센스에서 광고가 잘 안 보이면, “글이 부족한가?”부터 찾기 쉬워요. 그런데 의외로 원인이 수집(색인) 자체가 막혀 있는 경우가 많습니다. 특히 사이트맵과 robots.txt 확인을 건너뛰면 같은 실패를 반복하기 쉬워요.

결론부터 말하면, 사이트맵 URL과 robots.txt 규칙이 “서로 말이 맞는지”부터 점검하면 대부분의 수집/노출 이슈 방향이 잡힙니다.

왜 사이트맵·robots.txt에서 문제가 생길까요?

검색엔진은 페이지를 발견하고(수집), 내용을 가져오고(크롤링), 색인에 올립니다. 이 과정에서 사이트맵과 robots.txt가 “길 안내”와 “출입 규정” 역할을 해요.

그래서 아래 상황이 생기면 광고 노출도 덩달아 늦어질 수 있습니다.

점검 전에 꼭 알아둘 2가지

여기서부터는 “무슨 설정을 바꾸면 되나요?”가 아니라, 무엇이 원인인지 분리하는 흐름입니다.

그리고 또 하나요. robots.txt는 “페이지를 삭제”하는 기능이 아니라, 크롤러가 접근하도록/막도록 안내하는 문서입니다. 즉, robots.txt가 막고 있으면 페이지가 색인에 거의 못 올라옵니다.

애드센스용 사이트맵·robots.txt 흔한 실수 6가지

1) 사이트맵에 “이미 사라진 URL”이 들어가 있어요

예전 글을 삭제했거나 슬러그가 바뀌었는데 사이트맵에는 예전 URL이 남아 있으면, 크롤러 입장에서는 길을 찾다 막힙니다. 결과적으로 새 글도 늦게 반영될 수 있어요.

2) 사이트맵 파일 경로가 실제와 달라요

/sitemap.xml 또는 /sitemap_index.xml 같은 기본 경로를 기대했는데 실제로는 다른 파일명을 쓰는 경우가 있습니다. 이러면 “사이트맵 제출은 했는데, 엔진이 참조할 문서를 못 찾는” 상황이 생겨요.

3) robots.txt에서 콘텐츠 폴더를 과하게 막아요

예를 들어 /wp-content/ /admin/ 같은 건 차단해도 되지만, 잘못해서 글이 있는 경로(혹은 동적 경로)를 같이 막아버리면 색인이 줄어듭니다.

4) Allow/Disallow 규칙 순서가 애매해요

robots.txt는 규칙이 겹치면 해석이 꼬일 수 있어요. “대충 열어뒀겠지”가 가장 위험합니다. 같은 경로에 Disallow와 Allow가 동시에 있으면 최종 적용이 기대와 달라질 수 있어요.

5) 카테고리/태그 페이지를 무조건 막아둬요

초보 운영자 분들 중에는 중복 콘텐츠라고 생각해서 카테고리/태그를 전부 차단하는 경우가 있어요. 사이트 구조에 따라 이 전략이 오히려 페이지 발견을 줄여버릴 때가 있습니다.

6) noindex/메타 로봇 규칙을 robots.txt로 해결하려고 해요

robots.txt는 “접근” 안내이고, noindex는 “색인”을 막는 신호입니다. 둘을 섞어 생각하면 문제를 엉뚱한 곳에서 찾게 돼요.

특히 워드프레스에서 SEO 플러그인 설정을 건드린 뒤, robots.txt만 바꿔도 해결이 안 되는 케이스가 여기서 많이 나옵니다.

단계별 점검 방법: 어디부터 확인할까요?

아래 순서대로 확인하면 시간 낭비가 줄어듭니다.

1. 현재 robots.txt 내용을 확인하고, “차단된 경로”가 실제로 글이 있는 위치와 겹치는지 봅니다.
2. 사이트맵 URL(문서)을 확인합니다. 실제 경로(/sitemap.xml 등)와 일치하는지 체크해요.
3. 사이트맵에 포함된 대표 URL 5~10개를 눌러서 “정말 접속 가능한지” 확인합니다.
4. 검색엔진 도구(예: Search Console)에서 사이트맵 상태(성공/오류/검색어 관련 상태)를 확인합니다.
5. 최근에 바꾼 설정(robots.txt/사이트맵)을 기준으로, 새로운 글이 “색인 요청 후 반영되는지” 관찰합니다.

테스트할 때 가장 많이 쓰는 확인 포인트

주의사항: 자주 하는 실수와 “되돌릴 때” 기준

“차단을 풀면 무조건 좋아질 거야”는 생각보다 위험합니다.

그래서 되돌릴 때 기준은 이렇습니다.

• robots.txt에서 “과하게 넓게 막은 범위”만 먼저 줄이기
• 사이트맵에는 “발행/접속 가능한 URL”만 들어가도록 설정 점검
• 변경 후에는 새 글 위주로 반영 상태를 관찰(기존 글의 변화는 시간이 걸릴 수 있어요)

실전 체크리스트: 발행 전에 10분만 점검해보세요

wpflow 활용 팁: 설정 실수 줄이고 점검 루틴 만들기

사이트맵/robots.txt는 “한 번 설정하고 끝”이 아니라, 글이 늘면서 자연스럽게 점검 루틴이 필요해요. wpflow는 새 글을 만들 때 SEO 초안(구조) 잡는 데 유용해서, 최소한 “페이지 품질·구조” 쪽 실수를 줄이는 데 도움을 줍니다.

특히 광고 노출이 늦어질 때는 글 자체 문제뿐 아니라 수집/노출 흐름 전체를 봐야 하니, 워크플로우로 글 발행-점검-수정 흐름을 묶어두는 게 편해요.

관련해서, “CTR/수익” 쪽 원인 찾기보다 먼저 현재 상태를 분리하는 흐름이 필요하면 아래 글 흐름도 같이 보면 좋아요.

• 애드센스 CTR 낮을 때 원인 찾는 순서 5단계, 테마보다 먼저 볼 항목
• 애드센스 광고 게재 제한 해제 방법, 하루 만에 되는 경우와 며칠 걸리는 경우 구분 체크
• 애드센스 승인 거절 사유를 줄이는 글쓰기 체크리스트 10개, 수정 후 재신청 타이밍 가이드

자주 묻는 질문

마무리: 사이트맵·robots.txt는 “노출의 문”부터 확인하세요

애드센스 노출이 늦을 때는 글의 완성도만 보기보다, 먼저 수집/색인 흐름을 끊는 요소가 없는지 봐야 합니다.

사이트맵 경로와 포함 URL, robots.txt 차단 범위가 서로 어긋나 있으면 같은 문제가 반복돼요. 위 체크리스트대로 10분 점검하고 다음 수정으로 넘어가 보세요.