크롤러 오류 > 호스팅 서버 과부하 > 수요 제한됨, 해결방법?

티스토리 블로그에 구글 애드센스를 연동시켜 수익을 얻는 블로거라면 참 신경 써야 할 부분이 많은 것 같습니다. 제일 먼저 다음의 저품질과 펍벤에 신경 써야 하며, 구글 애드센스의 가이드라인에도 신경 써야 합니다.

 

최소 한 번쯤은 겪어볼 만한 구글 애드센스의 크롤러 오류에 대한 명확한 해결방법이 있을까요? 각종 커뮤니티를 통하면 요즘 들어 호스팅 서버 과부하 이슈를 겪는 블로거가 많은 것 같아 크롤러 오류에 대한 글을 작성합니다. 

 

 

크롤러와 크롤러 오류란?

크롤러는 간단하게 긁어온다라고 생각하면 이해하기 수월합니다. 구글 로봇이 내 블로그의 정보를 잘 긁어가야 구글에 노출도 잘되는데, 크롤러 오류란 그렇지 못한 상태를 뜻합니다.

 

 

크롤러 오류가 생기는 원인(뇌피셜)

결론 먼저 이야기하면 사용자가 이 방법을 해결할 수 없습니다. 시중에 나와있는 다른 블로거들의 방법을 통해도 해결되지 않습니다. 시중에 나와있는 방법대로 해결을 하려 하면 오히려 상황이 악화될 수 있으니 그냥 놔두는 것을 권장합니다.

 

구글 애드센스 고객센터에서는 이 문제의 해결방법으로 이렇게 제시하고 있습니다. 사이트(티스토리)를 신뢰할 수 있는 서버 또는 서비스 제공업체(티스토리 본사)에서 호스팅 되도록 하라고 합니다. 이래서 워드프레스로 가는 것인가...?

 

 

 

이렇기 때문에 티스토리를 운영하는 블로거 입장에서 어떠한 액션도 취할 수 없는 것입니다.

 

이러한 문제가 왜 생기는지 추론을 해봤습니다. 티스토리뿐만 아니라 대부분의 호스팅 서비스 제공업체에서는 트래픽 별로 사이트를 관리할 것입니다. 아닐 수도 있지만 그럴 확률이 높습니다.

 

쉽게 예를 들어보겠습니다. 티스토리 하루 방문자 100명 ~ 500명 까지는 C서버, 500명 ~ 1000명까지는 B서버, 1000명 이상은 A서버에서 관리를 합니다. 당연히 A서버가 C서버보다 트래픽의 허용범위가 높을 것입니다.

 

이렇게 구분된 서버에 내 티스토리가 들어가 있다고 가정하고 평소 500명 미만으로 방문을 하는데 어떠한 이유 때문에 하루에 3000명이 들어왔다 치면 호스팅 서버 과부하가 발생할 수 있습니다. 지금 말하는 뇌피셜은 상상에 의존한 것은 아니고, 실제로 특정된 몇 개의 글을 통해 유추할 수 있었습니다. 

 

 

그런데 또 이 추론이 정확하다고만 할 수 없는 게, PV가 높지 않은 게시글도 이렇게 호스팅 서버 과부하 메시지를 받았기 때문입니다.

 

지금 까지 크롤러 오류 메시지를 받은 횟수로만 따져보겠습니다. 확률적으로만 따지면 특정 글로 인하여 평균 방문자의 5배 이상 트래픽을 뽑아낸 글에서 100% 확률로 오류가 생기지는 않았습니다. 방문자가 거의 없는 페이지에서도 희박하지만 크롤러 오류가 발생한 적도 있습니다. 

 

불특정 다수의 티스토리 블로거들이 호소하는 것으로 보아 티스토리 자체적인 문제일 수도 있습니다. 하지만 티스토리에서도 이 문제를 진작에 인지했고 해결하기 위해 노력을 했고, 이 시점 이후로는 더 이상 이 문제가 발생되지 않을 수도 있습니다. 

 

해결방법도 없는데 글은 왜 적나?

이 오류를 접한 블로거라면 찝찝하기 때문에 구글 검색을 통해 적게는 몇 개 많게는 10개 이상의 글을 찾아볼 것입니다. 특별한 해결책이 없다는 것을 알지만 찾아보는 게 사람의 심리입니다. 다양한 의견을 제시하는 글을 본다면 조금이나마 위안을 삼을 수 있기 때문에 이 글을 작성했습니다.

 

 

여러 가지 경험을 기반으로 나름대로 논리적으로 글을 적었는데, 마지막으로 확실한 내용을 말씀드리겠습니다. 크롤러 오류 메시지가 뜨고 그 페이지만 영향을 받는다고 애드센스에서 확인할 수 있는데요. 실제로는 그렇지 않았습니다.

 

크롤러 오류 메세지가 애드센스 페이지 상단에 떠있는 날은 애드센스 수익이 평균 대비 50% 이상 하락했습니다. 이렇게 사이트가 오류 상태에 있으면 광고주의 입찰에도 영향을 미쳐서 오류 페이지를 제외한 다른 페이지에도 영향을 미치는 것 같습니다.