핵심 요약 robots.txt에 User-agent와 Allow 규칙만 추가하면 AI 크롤러 허용이 가능합니다. GPTBot·Google-Extended·PerplexityBot 등 크롤러마다 목적과 성격이 다릅니다. 티스토리·워드프레스…