같은 목표를 향한 두 사이트의 여정을 나란히 두고 보자. 목표는 하나, 새 글이 제때 색인되는 것이다. 한쪽은 글만 쌓고 구조는 돌보지 않는다. 다른 한쪽은 철마다 한 번씩 내부를 점검한다. 처음 몇 달은 차이가 없다. 격차는 페이지가 수백 장을 넘어서며 벌어지기 시작한다.
방치한 쪽의 복기는 이렇다. 중복된 페이지와 끊어진 링크와 갈 곳 잃은 이동 경로가 쌓이면서, 방문해 주는 봇의 시간이 쓸모없는 방들에서 소진된다. 정작 새 글이 있는 방까지 손님이 오지 못하는 구조가 된 것이다.
점검한 쪽은 다르다. 안 쓰는 방은 문을 닫고, 겹치는 방은 합치고, 통로는 곧게 편다. 봇의 동선이 짧아지니 같은 방문량으로도 새 글이 빨리 발견된다. 예산을 늘린 것이 아니라 낭비를 줄인 것뿐인데 결과가 갈린다.
여기서 나온 점검표는 간호 기록과 닮았다. 정기 검진처럼 주기를 정해 살피고, 이상 신호는 기록으로 남기고, 처치한 뒤에는 경과를 확인한다. 맛집 안내에서 문 닫은 가게를 제때 걷어내고 바뀐 정보를 갱신하는 관리와 완전히 같은 결이다.
점검 항목의 출발선은 셋이면 충분하다. 같은 내용을 가리키는 주소가 여럿 있지 않은지, 누르면 끊기는 연결이 없는지, 의미를 잃은 페이지가 계속 남아 있지 않은지. 이 세 가지만 철마다 훑어도 낭비의 큰 덩어리는 걷힌다.
이 관리를 어디서 시작할지 막막하다면 구글 봇 정밀 검진 및 크롤 버짓 밀착 간호라는 이름 그대로 검진과 경과 관리를 묶어 설명하는 자료를 참고해, 자기 사이트의 첫 검진 항목부터 정하면 된다.
두 여정의 교훈은 단순하다. 색인은 글의 양이 아니라 구조의 위생을 따라온다. 손님을 늘리는 일보다 손님의 시간을 아껴 주는 일이 먼저다. 문 닫은 가게를 걷어낸 안내가 독자의 신뢰를 얻듯, 정리된 사이트가 봇의 신뢰를 얻는다.