구글 애드센스 크롤러 오류 수정, 구글 서치 콘솔

매일 구글 애드센스에 들어가서 하루 수입이 어떤지 확인해보는데요. 언젠가부터 광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.라는 메시지가 뜨더라고요. 수입이 잡히긴 잡히길래 그냥 뒀다가 이번에 한번 손을 보자!라고 생각하고 방법을 찾아봤어요.

상단에 뜬 메시지에서 '작업'을 누르면 어떤 문제가 있는지 볼 수 있는데요. 해결해야 하는 문제가 없다면 딱히 작업해야할 일은 없다고 하지만 신경이 쓰이더라고요. 뭐든지 해보자.
저에게 일어난 문제는 두 가지,
크롤러: 호스팅 서버 과부하 문제
크롤러: 호스팅 서버에 연결할 수 없음

크롤러란 검색엔진이 웹상의 정보들을 탐색하고 색인하기 위해 페이지의 내용을 읽는 프로그램을 말합니다. 페이지가 수집을 하지 못하도록 거부하게 되면 크롤러는 그 페이지를 그냥 지나치게 된다고 하네요.
크롤러 오류가 나타나면 광고가 아예 안 나오는 건 아니고, 페이지와 관련이 없는 광고가 나타나는 듯합니다. 그래서 CTR이 훅 떨어질 수 있다고 하네요.

사실 저 같은 경우는 광고 크롤러 오류 메시지가 예전부터 자주 뜨긴 했었는데 무시했었거든요. 그럼 어느 날 갑자기 오류 메시지가 없어지기도 하고 다시 생기기도 했어요. 다른 블로그에도 찾아보니 티스토리 블로그에 포스팅을 하는 사람들은 딱히 해결할 수 있는 방법이 없다고 다들 그러네요.
포스팅을 비공개로 돌리거나 예약 발행을 하면 광고 크롤러 오류가 발생한다고들 예측하시던데, 저는 티스토리를 하면서 비공개 & 예약발행을 한 적이 한 번도 없었어서 딱히 그게 원인은 아닌 것 같습니다.

저는 일단 구글 서치 콘솔에 들어가서 색인이 잘 생성되어있나 확인해봤어요. 거의 1년 만에 들어가는 구글 서치 콘솔.

 

제외된 게 뭐가 이렇게 많아?ㅋㅋㅋㅋㅋㅋ 일단 오류와 제외됨 중에서 '현재 색인이 생성되지 않음'부터 해결.
색인 생성은 하루에 15개 제한이라고 합니다.
아래의 URL을 클릭하고 오른편에 뜨는 URL 검사 클릭.

URL 검사를 시행하면 URL이 Google에 등록되어 있는지 없는지가 뜨는데요, 실제 URL 테스트까지 클릭하면 색인 생성을 요청할 수 있는지도 뜹니다. 저는 귀찮으니 그것은 생략하고 등록되어있지 않으면 바로 색인 생성 요청을 했어요.

일단 이틀 동안 30개 생성 신청했는데, 바로 해결되는지는 모르겠지만 광고 게재 제한됨이 40%에서 37%로 줄고 광고 크롤러 오류가 키워드가 8개에서 3개로 줄었습니다. 자체적으로 해결이 된 건지 색인 생성을 해서 그런진 모르겠지만.
일주일 후 즈음에 구글 애드센스 사이트에 뜨던 크롤링 오류 메시지는 사라졌고, 이전 알림을 보니 해당 오류가 해결이 되었다고 바뀌어 있었습니다.
알아서 해결이 되는 것 같긴 한데요, 구글 서치 콘솔에 나타나는 오류는 7개에서 6개로만 줄었네요. 무엇이 어디에 어떻게 영향을 주는 건지 모르겠지만 아무튼 해결! 구글 서치 콘솔에 자주 들어가서 색인을 설정해줘야 할 것 같아요.

아무튼 해결!