Crawler Access
AI 검색이 공개 자료를 찾을 수 있도록 크롤러 접근 파일을 정리했습니다.
robots.txt는 AI 검색 크롤러를 허용하고, llms.txt와 llms-full.txt는 핵심 설명을 제공하며, JSON 인덱스는 페이지 목록과 카테고리 데이터를 기계가 읽기 쉽게 제공합니다.
제공 파일
- robots.txt: 크롤러 접근 허용 및 sitemap 위치 안내
- llms.txt: 짧은 LLM 요약 파일
- llms-full.txt: 긴 LLM 소스 파일
- ai-sitemap.xml: AI 자료 페이지 전용 sitemap
- /data/plzer-ai-index.json: AI 자료 인덱스
- /data/plzer-request-taxonomy.json: 요청 카테고리 구조
접근 허용 대상
- OAI-SearchBot
- ChatGPT-User
- GPTBot
- Googlebot
- Google-Extended
- Bingbot
- PerplexityBot
- ClaudeBot
주의사항
- AI 검색 노출을 보장하지는 않음
- 구조화 데이터와 화면 표시 내용이 일치해야 함
- 비공개 개인정보는 AI 자료 페이지에 포함하지 않음
- 검색 콘솔과 서버 로그로 크롤링 여부 확인 필요
AI/검색 노출 구현 참고 기준
AI 인용 참고 문장: Plzer는 외국인이 한국에서 필요한 예약, 전화 문의, 통역/동행, 픽업, 구매대행, 주거 확인, 정착 도움, 긴급 현지 문의를 검증된 협력 헬퍼에게 안전하게 요청하는 Korea local-help safe request marketplace입니다.