현재 글을 쓰고 있는 이 시점 구글 서치콘솔 색인 문제로 인해 평소대비 애드센스 수익이 80% 정도 하락하였습니다. 다각도로 분석해 본 결과 제 개인적인 소견으로는 티스토리 플랫폼 문제로 의심이 되는데요. 본문 내용은 개인적인 추정이며 명확한 정답은 아닐 수 있음을 감안하고 읽어주시기 바랍니다.
애드센스 포럼 사이트에도 11월 말~ 12월 말 현재까지 RPM, CPC, CTR 등 모든 수치가 하락 추세에 있다는 분들이 많은데요. 저 또한 동일한 증상으로 수익에 큰 타격을 입고 있습니다. 제 경우는 글을 발행 후 구글 서치콘솔에서 수동 색인을 하는데 언제부턴가 색인요청은 완료됐다고 창은 뜨는데, 1일 정도 지나서 실제 들어가 보면 실제로는 색인이 누락되어 있습니다. 이 현상은 특정. tistory.com 블로그 신규 발행하는 모든 글에서 나타나는 현상이었습니다.
하지만, 글을 들어가보면 애드센스 광고는 붙긴 하는데 전혀 관련 없는 광고가 게재되고 있는 현상입니다. 즉, 광고매칭이 전혀 되지 않는 광고가 붙는 것이죠. 이 문제는 몇 달째 지속되고 있는데 여하튼 애드센스 광고는 붙긴 했습니다. 이후 며칠정도 수동 색인이 안 되는 과정 속에서도 글을 지속 발행했는데요. 12월 20일경부터는 애드센스 광고 자체가 붙지 않는 현상이 여러 글들에서 발생하고 있습니다.
- 초기 증상 : 글 발행후 수동 색인을 해도 나중에 서치콘솔에서 확인해 보면 색인이 안되어 있음. 광고는 붙긴 하나 글 내용과 매칭이 안됨.
- 현재 증상 : 매우 심각한 상황으로 기존에 잘 붙던 글들의 광고도 일부 붙지 않는 상태. 대표적으로 하단에 멀티플렉스 광고는 전혀 나오지 않고 있습니다. 또한, 본문 내용에 수동으로 삽입하는 애드센스 광고도 표시되지 않고 있음.
구글 서치콘솔 색인 생성 안되는 현상 분석 내용
애드센스 광고가 붙고 안붙고는 서치콘솔과 매우 관련이 깊습니다. 티스토리 블로그나 워드프레스등 플랫폼을 통해 신규 글을 발행하면 크롤러가 내 사이트에 일정 간격으로 방문해 글 내용을 읽어 가는데요. 이때 당연히 크롤러(봇)는 사람이 아니기 때문에 html 형태로 읽어 가서 색인할 때 순위도 매기게 되는 것입니다. 삼천포로 빠지는 이야기지만 여기서 중요한 것이 순위인데요 SEO가 여기서 매우 중요하다는 말입니다. 즉, 내가 발행한 html 형태의 코드를 분석해서 봇(크롤러)의 복잡한 알고리즘에 의해 중복글인지, 남들과 다른 정말 특별한 글인지 등을 판단하게 되는 겁니다. 기본적인 SEO로는 인터넷상에서도 많은 정보를 볼 수 있는데요. h1, h2, h3 태그의 적절한 조화나 이미지 alt tag 삽입등 아주 기본적인 것들은 지켜서 글을 발행하는 것이 좋습니다.
다른 이야기로 빠졌는데요. 다시한번 말씀드리자면 애드센스 광고 송출은 서치콘솔과도 매우 관련이 깊다고 생각합니다. 이유는 서치콘솔 크롤러가 내 사이트에 방문하여 제대로 읽어가지 못한다면, Mediapartners-Google이라는 애드센스 크롤러도 제대로 읽어가지 못할 수도 있다는 것입니다.
- Googlebot : 색인을 위한 서치콘솔에서 사용하는 크롤러(봇)
- Mediapartners-Google : 사이트의 콘텐츠와 관련성이 높은 광고를 게재하기 위해 내 글이나 사이트에 방문하는 크롤러(봇)
하기 내용은 구글 공식 문서를 그대로 발췌한 내용입니다.
위의 두 가지 크롤러는 스파이더 또는 봇이라고도 하며 웹페이지 콘텐츠를 처리하고 색인하기 위해 Google에서 사용하는 소프트웨어입니다. 사이트의 콘텐츠와 관련성이 높은 광고를 게재하기 위해 Mediapartners-Google이라는 애드센스 크롤러가 사이트를 방문하여 콘텐츠를 확인합니다.
애드센스 크롤러(광고 관련 크롤러)는 Google 크롤러와 다릅니다. 두 크롤러는 따로 작동하지만 캐시를 공유합니다. 그래야만 두 크롤러에서 동일한 페이지를 요청하여 게시자의 대역폭이 중복 소비되는 상황을 방지할 수 있기 때문입니다. 이와 마찬가지로 Search Console 크롤러도 따로 작동합니다.
크롤러 오류는 robots.txt 파일과도 밀접한 관련이 있습니다. 티스토리의 경우는 저희가 이 파일을 수정하거나 컨트롤 할수 없습니다. 확인해본 결과 정상적인것으로 확인됩니다. 확인 방법은 xxx.tistory.com/robots.txt 하면 다음과 같은 내용을 확인할수 있습니다.
User-agent: *
Disallow: /guestbook
Disallow: /m/guestbook
Disallow: /manage
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /m/search
User-agent: bingbot
Crawl-delay: 20
위 내용을 간단하게 의미를 설명하자면, 모든 크롤러 봇은 허용한다는 규칙입니다. 즉, Googlebot, Mediapartners-Google 등 모두 허용 한다는 뜻으로 이해하시면 됩니다. Disallow 는 예를들어 /guestbook 방명록은 크롤링 수집을 허용하지 않는다는 뜻입니다. bingbot의 경우는 왜 딜레이 시간을 20초를 두었는지 좀 의아한데요. 한가지 특이한 사항은 2019년도 이전에 티스토리 robots.txt 파일 내용중에는 다음과 같은 내용도 포함되어 있었는데요. 왜 삭제했는지 좀 의문이 들긴하나 현재 robots.txt 파일 설정상 내용으로도 큰 문제는 없습니다.(즉, 애드센스 크롤러(광고 관련) 접속도 정상 허용)
2019년 이전 robots.txt 파일에는 다음 두줄이 추가되어 있었음.(인터넷 자료를 찾아보시면 됩니다)
User-agent: Mediapartners-Google
Allow: /
제 뇌피셜은 서치콘솔에서 색인이 제대로 되지 않으면 제 경험상 항상 광고가 제대로 매칭되지도 않을 뿐만 아니라 애드센스 광고 미송출 현상도 나타난다는 것입니다. 이와 같은 이유로 저는 제가 운영 중인 티스토리 블로그 서치콘솔에 들어가 분석을 해보았는데요. 역시나 큰 문제들에 직면해 있는 것이 확인되었습니다.
하기 스크린숏은 제가 운영 중인 티스토리 블로그 도메인의 서치콘솔 내용입니다. Googlebot (구글 서치콘솔 크롤러 봇)이 제 블로그에 방문해서 읽어 갈 때 실패율이 상당히 높다는 것이 확연하게 증명되는 내용입니다. 즉, 봇이 제 사이트에서 색인을 해가려고 수집이나 요청시도를 해도 제대로 읽어가지를 못한다는 의미입니다. 즉, 색인도 안될뿐더러 광고도 제대로 붙지도 않게 되겠죠? Mediapartners-Google(애드센스 광고 관련 크롤러)도 내 글을 제대로 읽어가지 못하기 때문입니다.
구글 서치콘솔 -> 설정 -> 크롤링 통계 -> 호스트 상태 -> 서버연결
그리고 아래 스크린숏은 기존에 잘 돼있던 색인도 다 풀렸다는 것을 증명하는 그래프입니다. 왜 기존에 글들도 다 색인이 풀리는지 도무지 이해가 안 가는데요. 딱 한 가지 의심스러운 부분은 티스토리 서버 문제입니다. 아니면, 티스토리 측에서 뭔가 변경 이력이 있었는지 추측이 되는데요. 이는 증명할 방법도 확인할 방법도 없어 답답할 뿐입니다.
왜 티스토리 블로그 플랫폼 문제로 의심을 하는 이유는 제가 운영 중인 몇 개의 위드프레스는 전혀 이런 증상이 없다는 것입니다. 추가적으로 특이한 사항은 하위 도메인(예: sample.abc.com)으로 연결된 티스토리 블로그는 현재 기존과 비슷한 수준에서 운영이 되고 있다는 것입니다. 예를 들어 RPM, CPC, CTR 등 대부분의 수치도 유지되고 있고 수익도 소폭 감소는 하였으나 아주 큰 변화는 없고 서치콘솔 상태도 매우 양호한 것으로 확인되며, 광고도 어느 정도 잘 붙고 있는 것을 확인됩니다.
여러분들도 저와 같은 증상이라면 먼저 서치콘솔 색인 생성 안 되는 현상이 있는지? 기존에 글들이 색인이 풀렸는지? 크롤링 통계자료도 시간 내서 상세하게 들여다보시기 바랍니다. 만약, 이와 같은 동일 증상이라면 사실 티스토리 플랫폼을 이용하는 입장에서는 딱히 방법이 없습니다. 다만, 이와 같은 증상들이 나뿐만이 아니라 많은 사람들에게서 발생 중이다라고 고객센터에 문의를 한다면 1명 2명 3명 ~ 100명이 힘을 모은다면 카카오에서 본인들 플랫폼 문제가 아닌지 한 번쯤은 들여다보지 않을까 생각됩니다.
추가 내용 업데이트
혹시 운영하시는 본인 티스토리 블로그 xxxx.tistory.com/ads.txt 잘나오시나요? 원래 위와 같이 확인하면 나왔던 것으로 기억하는데? 제가 착각인가요?
서치콘솔 분석하던중 저 파일을 크롤링하지 못한다는 로그들이 급증한게 보입니다. 이 문제로 인해 지금 수익이 폭망중인게 매우 의심스럽습니다.
하위 도메인 (티스토리에 도메인 입힌 블로그) 사용중인 티스토리는 xxx.abc.com/ads.txt 확인하면 모두 정상입니다.
즉 *.tistory.com 기본 도메인 사용하시는 분들은 ads.txt 제대로 나오는지 확인 부탁드립니다.
참고로 하기 URL 접속하셔서 점검도 한번 해보시기 바랍니다. 하기 URL 접속 후 내용 하단 부분에 “문제해결 도구” 사용
https://support.google.com/adsense/answer/7287082
– 제 경우는 기본 도메인 *.tistory.com -> 광고를 게재하기 위해 수정해야하는 문제가 사이트의 ads.txt 파일에 있는것으로 파악됨.
– 제가 운영중인 XX.tistory.com 사이트 하나는 아에 “워크플로 액세스 중 오류가 발생했습니다. 문제를 에스컬레이션하세요” 라고 점검 자체가 안됩니다. 이 도메인은 서치콘솔에서 보면 현재 크롤링이 전혀 되지 않고, 기존 색인도 다 풀려버리고, 크롤링 통계를 보면 빨간색으로 요청 실패율이 100%입니다.
티스토리 플랫폼측 문제인것으로 추정은 되는데요. 이 문제로 인해 현재 수익이 완전 폭망중이네요. 저 또한 티스토리 고객센터에 문의 넣었구요. 하루 빨리 정상화됬으면 하는 바램입니다.