구글 애드센스 광고 크롤러 오류, 수익 손실 해결 방법

구글 애드센스 광고 크롤러는 귀하의 웹사이트를 정기적으로 방문하여 광고를 게재할 수 있는 페이지를 인덱싱 합니다. 이 과정에서 다양한 이유로 오류가 발생할 수 있으며 이는 곧 광고 노출 감소와 수익 손실로 이어질 수 있습니다.

애드센스 크롤러란 무엇이며, 크롤러 오류는 왜 발생할까요?

애드센스 크롤러란 구글에서 운영하는 애드센스 광고 시스템에서 웹사이트를 돌아다니며 광고를 게재할 수 있는 페이지를 찾아내는 프로그램입니다. 마치 거미줄을 치고 다니는 거미처럼 웹사이트 곳곳을 기어 다니며 광고를 게재할 적절한 공간을 찾는 것이죠.

크롤러 오류란 이러한 크롤러가 웹사이트를 정상적으로 탐색하지 못하고 오류를 발생시키는 경우를 말합니다. 크롤러 오류가 발생하면 애드센스 광고가 제대로 노출되지 않아 수익에 직접적인 영향을 미칠 수 있습니다.

크롤러 오류가 발생하는 주요 원인

웹사이트 기술적인 문제:

robots.txt 파일 설정 오류: 크롤러의 접근을 제한하는 robots.txt 파일이 잘못 설정되어 있을 경우 크롤러가 특정 페이지에 접근하지 못할 수 있습니다.

서버 오류 또는 느린 응답 속도: 서버에 문제가 있거나 응답 속도가 느리면 크롤러가 페이지를 제대로 읽어 들이지 못합니다.

JavaScript 오류: 웹페이지에 JavaScript 오류가 있으면 크롤러가 페이지를 정상적으로 렌더링 하지 못할 수 있습니다.

페이지 로딩 속도 저하: 페이지 로딩 속도가 너무 느리면 크롤러가 인내심을 잃고 다음 페이지로 넘어갈 수 있습니다.

애드센스 코드 설치 오류:

코드 위치 오류: 애드센스 코드를 잘못된 위치에 설치하면 크롤러가 코드를 인식하지 못합니다.

코드 손상: 코드가 손상되면 크롤러가 코드를 제대로 해석하지 못합니다.

중복 코드: 코드가 중복되어 설치되어 있으면 오류가 발생할 수 있습니다.

구글 검색 콘솔 문제:

인덱싱 오류: 구글 검색 콘솔에서 웹사이트가 제대로 인덱싱 되지 않으면 크롤러가 페이지를 찾지 못할 수 있습니다.

사이트맵 제출 문제: 사이트맵이 제대로 제출되지 않으면 크롤러가 웹사이트의 구조를 파악하는 데 어려움을 겪을 수 있습니다.

크롤러 오류 해결하기

오류 발생과 위치 확인하기

발생

애드센스 계정: 애드센스 계정에 로그인하여 알림이나 보고서를 통해 크롤러 오류 발생 여부를 확인합니다.

구글 검색 콘솔: 구글 검색 콘솔에서 크롤링 오류 보고서를 확인하여 문제가 발생한 페이지를 파악합니다.

위치

애드센스 계정: 애드센스 계정에서 문제가 발생한 페이지를 확인하고 해당 페이지의 코드를 꼼꼼히 살펴봅니다.

구글 검색 콘솔: 구글 검색 콘솔에서 제공하는 정보를 바탕으로 오류 위치를 추정합니다.

▼ 오류 발생 확인하기:

구글 애드센스 홈페이지에서 상단에 "광고 크롤러 오류가 있으며 이 때문에 수익 손실이 발생할 수 있습니다" 알림 문구가 있다면 먼저 알림에 있는 작업을 클릭합니다.

▼ 문제가 발생위치 URL 주소를 클릭하여 광고가 나오는지 문제가 발생했다는 블로그 페이지를 확인합니다.

[저는 광고가 잘 나오고 있는데도 이 알림이 계속 뜨더라고요. 생각해 보니 블로그 글 발행 할 때 제목을 고쳐 쓰고 발행 시 URL를 수정하지 않고 발행해서 오류가 생긴 걸 수도 있겠다는 생각이 드네요.]

▼ 구글 애드센스 홈페이지에서 카테고리에 [계정] - [액세스 및 승인] - [크롤러 액세스] 클릭합니다.

▼ 크롤러 액세스 페이지에서 로그인 정보 추가를 클릭합니다.

▼ 로그인 정보를 입력해 줍니다.

제한된 디렉터리 또는 URL: 크롤러 오류가 생긴 블로그 페이지 URL 주소를 입력합니다.

블로그 URL 주소를 숫자가 아닌 문자로 사용하시는 분들은 아래 숫자 확인 방법을 보시고 문자가 아닌 숫자로 입력해야 제한된 디렉터리 또는 URL 주소가 잘 못 됐다는 알림이 안 뜹니다.

로그인 URL: 티스토리 블로그 내 사이트 URL주소 입력을 합니다.

로그인 방식: 로그인 방식은 POST을 선택합니다.

로그인 매개변수: 티스토리 블로그 로그인 하는 카카오 로그인 아이디와 카카오 로그인 비번을 입력해 줍니다. 아이디와 비번을 입력칸에 똑같이 한번 더 입력해 줍니다.

로그인 추가: 모두 다 입력하셨다면 로그인 추가 버튼을 클릭해 줍니다.

▼ 로그인 추가를 클릭하셨다면 아래와 같이 크롤링 상태가 표시됩니다.

▼ 몇 시간 후 다시 애드센스 카테고리에서 [계정] - [액세스 및 승인] - [크롤러 액세스]에서 확인하시면 크롤링 상태인걸 확인할 수 있습니다.

로그인 정보 제한된 디렉터리 URL 입력

로그인 정보에 제환 된 디렉터리 URL은 URL주소 숫자로 입력해야 로그인 추가가 됩니다. 아닐 시 계속 제환 된 디렉터리 URL이 틀리다고 알림이 뜹니다.

내 블로그 글 주소가 문자이신 분은 블로그 관리 홈에서 [콘텐츠] - [글관리]에서 수정할 글 페이지를 찾으신 뒤 통계를 클릭합니다.

통계 클릭 후 나오는 페이지 URL 주소를 보시면 주소 끝에 숫자를 확인할 수 있습니다. 이때 블로그 주소와 숫자 사이 manage/statistics/entry 부분은 삭제해 주고 사용하시면 됩니다.

구글 서치 콘솔에서 확인

구글 애드센스에서 모두 설정하시고 구글 서치 콘솔에서도 URL 검사를 다시 한번 해보시고 등록이 돼있지 않다면 다시 색인 생성 요청을 합니다.

크롤러 오류는 생각보다 자주 일어나는 것 같습니다. 광고가 잘 나오다가도 어느 순간 보면 광고가 전혀 나오고 있지 않은 경우가 있기 때문에 가끔 글 하나하나 확인 후 광고가 안 나온다면 구글 서치 콘솔에서 URL검사 후 등록 여부에 따라 색인 생성 요청을 다시 하셔야 광고가 다시 나옵니다.