web crawler

💡 A misconfigured web crawler can look like an attack to small sites.

یک خزنده وب با پیکربندی نادرست می‌تواند برای سایت‌های کوچک مانند یک حمله به نظر برسد.

💡 He rewrote the code for a slow web crawler that Mr. Page had created to understand the relationship between links on different websites.

او کد یک خزنده وب کند را که آقای پیج برای درک رابطه بین لینک‌ها در وب‌سایت‌های مختلف ساخته بود، بازنویسی کرد.

💡 Publishers could also try to protect their content from Google by forbidding its web crawler from sharing any content snippets from their sites.

ناشران همچنین می‌توانند با ممنوع کردن خزنده وب گوگل از به اشتراک گذاشتن هرگونه قطعه محتوایی از سایت‌هایشان، سعی کنند از محتوای خود در برابر گوگل محافظت کنند.

💡 The web crawler respected robots.txt, indexing archives without overwhelming servers that run on love, snacks, and donated budgets.

این خزنده وب به robots.txt احترام می‌گذاشت و آرشیوها را بدون نیاز به سرورهایی که با عشق، تنقلات و بودجه‌های اهدایی کار می‌کنند، فهرست‌بندی می‌کرد.

💡 Our web crawler respects robots.txt and throttles requests politely.

خزنده وب ما به robots.txt احترام می‌گذارد و درخواست‌ها را مودبانه کنترل می‌کند.

💡 The company originally operated a web crawler that searched for GIFs on the internet.

این شرکت در ابتدا یک خزنده وب را اداره می‌کرد که به دنبال فایل‌های GIF در اینترنت می‌گشت.