•تعریف و معنی Crawler :

یک برنامه خودکار که یک وبسایت را اسکن می‌کند تا محتوای آن‌ها را بررسی کند. اسم بیانگر این است که چطور این برنامه وارد کدها می‌شود و از بین آن‌ها عبور می‌کند. به همین دلیل به آن spider هم گفته می‌شود. کرالرها به گوگل کمک می‌کنند تا محتوای جدید یک وبسایت را بررسی کند و کیفیت محتوا را برای ایندکس کردن صفحات ارزیابی کند. وبمسترها و سئوکارها از طریق سرچ کنسول (google Search Console) می‌توانند خودشان درخواست اسکن اضافی بدهند.