একটি ওয়েব ক্রলার (একটি ওয়েব স্পাইডার, স্পাইডার বট, ওয়েব বট বা সহজভাবে একটি ক্রলার নামেও পরিচিত) হল একটি কম্পিউটার সফ্টওয়্যার প্রোগ্রাম যা একটি সার্চ ইঞ্জিন ব্যবহার করে ওয়ার্ল্ড ওয়াইড ওয়েব জুড়ে সূচী ওয়েব পেজ এবং বিষয়বস্তু। … সার্চ ইনডেক্সিংকে বইয়ের ইন্ডেক্সিংয়ের সাথে তুলনা করা যেতে পারে।
আইসিটিতে ক্রলার কি?
একটি ওয়েব ক্রলার (একটি ওয়েব স্পাইডার বা ওয়েব রোবট নামেও পরিচিত) হল একটি প্রোগ্রাম বা স্বয়ংক্রিয় স্ক্রিপ্ট যা ওয়ার্ল্ড ওয়াইড ওয়েবকে পদ্ধতিগত, স্বয়ংক্রিয় পদ্ধতিতে ব্রাউজ করে। এই প্রক্রিয়াটিকে ওয়েব ক্রলিং বা মাকড়সা বলা হয়। অনেক বৈধ সাইট, বিশেষ করে সার্চ ইঞ্জিন, আপ-টু-ডেট ডেটা প্রদানের মাধ্যম হিসেবে স্পাইডিং ব্যবহার করে।
ওয়েব ক্রলার কিসের জন্য ব্যবহার করা হয়?
ক্রলিং করে তথ্য খোঁজা
আমরা সর্বজনীনভাবে উপলব্ধ ওয়েবপেজগুলি আবিষ্কার করতে ওয়েব ক্রলার হিসাবে পরিচিত সফ্টওয়্যার ব্যবহার করি। ক্রলাররা ওয়েবপৃষ্ঠাগুলি দেখে এবং সেই পৃষ্ঠাগুলির লিঙ্কগুলি অনুসরণ করে, অনেকটা আপনার মতো যদি আপনি ওয়েবে সামগ্রী ব্রাউজ করছেন৷ তারা লিঙ্ক থেকে লিঙ্কে যায় এবং সেই ওয়েবপৃষ্ঠাগুলির ডেটা Google এর সার্ভারে ফিরিয়ে আনে৷
ওয়েব ক্রলার কি ধরনের এজেন্ট?
একটি ওয়েব ক্রলার হল একটি ধরনের বট, বা সফ্টওয়্যার এজেন্ট। সাধারণভাবে, এটি ভিজিট করার জন্য URLগুলির একটি তালিকা দিয়ে শুরু হয়, যাকে বীজ বলা হয়। ক্রলার যখন এই URL গুলি পরিদর্শন করে, এটি পৃষ্ঠার সমস্ত হাইপারলিঙ্কগুলি সনাক্ত করে এবং সেগুলিকে দেখার জন্য URLগুলির তালিকায় যুক্ত করে, যাকে ক্রল ফ্রন্টিয়ার বলা হয়৷
ক্রলিং কি বিশদভাবে ব্যাখ্যা করে?
ক্রলিং হল যখন Google বা অন্য সার্চ ইঞ্জিন পাঠায়একটি ওয়েব পৃষ্ঠা বা ওয়েব পোস্টে একটি বট এবং পৃষ্ঠাটি "পড়ুন"৷ … ক্রলিং হল একটি সার্চ ইঞ্জিন আপনার পৃষ্ঠা চিনতে এবং এটিকে অনুসন্ধান ফলাফলে দেখানোর প্রথম অংশ। যাইহোক, আপনার পৃষ্ঠা ক্রল করার অর্থ এই নয় যে আপনার পৃষ্ঠাটি ইন্ডেক্স করা হয়েছে (বা করা হবে)৷
