결론부터
| 설정 | 하는 일 |
|---|---|
| 1. AI 크롤러 허용 | AI 회사 수집 로봇을 막지 않음 |
| 2. robots.txt·사이트맵 | 읽어도 되는 곳과 글 목록 알림 |
| 3. Crawler Hints | 글이 바뀌면 검색엔진에 알림 |
| 4. llms.txt | AI용 사이트 요약 파일 |
| 5. 구조화 데이터 | 글 제목·날짜·질문을 기계가 읽는 형식으로 |
다섯 가지 모두 지금 heungai.com에 적용돼 있습니다. 전부 무료이고, Cloudflare 대시보드와 사이트 파일만으로 했습니다. 다만 이 설정들로 AI 답변에 실제로 인용되는지는 아직 확인 전입니다. 확인되면 이 글에 덧붙이겠습니다.
1. AI 크롤러를 막지 않았는지 확인
Cloudflare에는 AI 회사의 수집 로봇(크롤러)을 한 번에 막는 기능이 있습니다. 콘텐츠를 지키고 싶은 사이트에는 좋은 기능이지만, 알려지는 것이 목적인 작은 사이트에서 켜져 있으면 AI 검색에 나올 길이 막힙니다.
- 대시보드에서 도메인을 고르고 AI Crawl Control(또는 Security → Bots)으로 갑니다.
- AI 로봇 차단(Block AI bots)과 관리형 robots.txt가 꺼져 있는지 봅니다.
heungai.com의 설정을 읽어 보니 AI 로봇 차단, AI 학습용·검색용·사용자 요청용 로봇 차단이 모두 꺼짐, 관리형 robots.txt도 꺼짐이었습니다. 따로 바꿀 것은 없었습니다.
2. robots.txt와 사이트맵
사이트 맨 위에 robots.txt 파일을 두고 모든 로봇에게 전체를 허용한 뒤, 글 목록(사이트맵) 주소를 적었습니다.
User-agent: * / Allow: / / Sitemap: https://heungai.com/sitemap.xml
사이트맵에는 모든 페이지와 글 주소, 마지막 수정일이 들어 있습니다. 글을 하나 쓸 때마다 이 파일에도 한 줄씩 추가합니다. 구글 서치 콘솔에 사이트맵을 제출하는 방법은 1만 5천 원으로 내 홈페이지 여는 법에 있습니다.
3. Crawler Hints 켜기
새 글을 올려도 검색엔진이 알아차릴 때까지 시간이 걸립니다. Cloudflare의 Crawler Hints를 켜면 내용이 바뀐 페이지를 IndexNow라는 방식으로 검색엔진에 알려 줍니다. IndexNow는 Bing 등 여러 검색엔진이 참여한 알림 방식입니다(구글은 자체 방식을 씁니다).
- 대시보드 → 도메인 → Caching → Configuration으로 갑니다.
- Crawler Hints 스위치를 켭니다.
Bing 검색 결과는 여러 AI 검색 서비스가 참고하는 것으로 알려져 있어서, 구글만큼 Bing도 챙기는 게 좋습니다.
4. llms.txt 올리기
llms.txt는 AI가 사이트를 빨리 파악하도록 사이트 소개와 주요 페이지를 마크다운으로 정리한 파일입니다. 사이트 맨 위(heungai.com/llms.txt)에 둡니다.
- 첫 줄: 사이트 이름, 다음 줄: 한두 문장 요약
- 글마다: 제목, 주소, 글에 나오는 실제 숫자를 넣은 한 줄 설명
- 작업물마다: 무엇을 하는 도구인지
솔직히 말하면 llms.txt는 제안된 형식이고, 큰 AI 서비스들이 이 파일을 실제로 읽는다고 공식적으로 밝힌 곳은 아직 드뭅니다. 만드는 데 10분이면 되고 해가 없어서 올려 두었습니다.
5. 구조화 데이터 넣기
각 글의 HTML 안에 사람 눈에는 안 보이는 정보 묶음(JSON-LD)을 넣었습니다. 검색엔진과 AI가 "이 페이지는 언제 누가 쓴 어떤 글이고, 어떤 질문에 어떤 답을 하는지"를 헷갈리지 않고 읽게 하는 용도입니다.
- BlogPosting — 제목, 요약, 작성일, 대표 이미지
- BreadcrumbList — 홈 › 기록 › 글 제목 같은 위치
- FAQPage — 글 아래 "자주 묻는 질문"의 질문과 답
구글은 2023년부터 자주 묻는 질문 꾸밈 표시를 정부·건강 분야 사이트로 줄였습니다. 그래서 검색 결과 모양이 바뀌길 기대하기보다, 질문과 답을 기계가 정확히 읽게 하는 데 의미를 두었습니다.
설정보다 중요한 것
설정은 문을 열어 두는 일일 뿐, AI가 인용할 만한 내용이 있어야 합니다. 이 사이트의 글은 다음 원칙으로 씁니다.
- 직접 잰 숫자를 쓴다. "빨라졌다" 대신 "10초 조각당 약 20초 → 약 4초".
- 첫 단락에 결론을 쓴다. AI도 사람도 앞부분을 가장 많이 읽습니다.
- 모르는 건 모른다고 쓴다. 이 글의 "아직 확인 전"처럼.
자주 묻는 질문
GEO와 SEO는 다른 건가요?
겹치는 부분이 많습니다. SEO는 검색 결과 순위, GEO는 AI가 답을 만들 때 내 글을 읽고 인용하게 하는 데 초점을 둡니다. 크롤러 허용, 사이트맵, 구조화 데이터는 둘 다에 도움이 됩니다.
AI 로봇을 허용하면 서버 비용이 늘지 않나요?
Cloudflare Pages 무료 요금제에서 정적 사이트를 운영하는 경우 방문 요청 수 때문에 비용이 생기지는 않았습니다. 서버를 직접 운영한다면 접속 기록을 보고 판단하세요.
Crawler Hints를 켜면 구글에도 바로 알려지나요?
아닙니다. 구글은 IndexNow를 쓰지 않습니다. 구글은 서치 콘솔에 사이트맵을 제출하고, 새 글은 URL 검사에서 색인 생성을 요청하는 방법이 확실합니다.
llms.txt가 없으면 AI가 내 사이트를 못 읽나요?
아닙니다. AI 검색은 일반 웹페이지를 그대로 읽습니다. llms.txt는 요약을 하나 더 주는 보조 수단입니다.