تبلیغات
Anishtang - چگونه کمتر از 50 خط کد با پایتون، وب کرالر (خزنده وب) بسازیم
 
درباره وبلاگ




مدیر وبلاگ : alzert anishtang
نویسندگان
آمار وبلاگ
  • کل بازدید :
  • بازدید امروز :
  • بازدید دیروز :
  • بازدید این ماه :
  • بازدید ماه قبل :
  • تعداد نویسندگان :
  • تعداد کل پست ها :
  • آخرین بازدید :
  • آخرین بروز رسانی :
Anishtang
صفحه نخست             تماس با مدیر           پست الکترونیک               RSS                  ATOM
آیا علاقه مند به یاد گیری نحوه کار گوگل، یاهو و ... هستید؟ تمایل به نوشتن یک خزنده وب دارید؟
در این پست سورس خزنده وب ساده که با زبان پایتون و کمتر از 50 خط کد نوشته شده قرار میدم.






در تصویر پایین نحوه اجرای آن را میبینید که ابتدا آدرس سایت رو می نویسید بعد کلمه مورد نظری که میخواهید سرچ کنید ، در پایان هم حداکثر تعداد صفحات مورد جستجو .



اوکی، اما این چگونه کار میکنه؟ ابتدا در مورد ساخت خزنده وب بحث کنم.
خزنده وب چیست و چگونه کار می کند؟
 مطابق توضیحات خزنده وب در صفحه ویکیپدیا، خزنده وب یک برنامه ایست که برای جمع آوری اطلاعات شبکه جهانی وب رو مرور میکند. چه نوع اطلاعاتی را یک خزنده وب جمع آوری میکند؟ به طور معمول دو چیز:
  • محتوای صفحه وب (متن و چند رسانه ای در یک صفحه)
  • لینک (به صفحات وب دیگر در همان وب سایت، و یا به وب سایت های دیگر به طور کامل)

که دقیقا همان چیزی است که این ربات کوچک انجام میدهد. با استفاده از فراخوانی تابع spider() و تایپ کردن سایت و کلمه مورد جستجو در محتوای آن سایت شروع به کار می کند. این ربات خاص هیچ چند رسانه ای را بررسی نمی کند به جای آن فقط به دنبال "text/html" است .هر بار بازید از هر صفحه وب دو دسته اطلاعات جمع آوری می کند: تمام متن در صفحه، تمام لینک در صفحه.

در صورتی که کلمه مورد جستجو در متن صفحه یافت نشد، ربات لینک بعدی از مجموعه خود را می گیرد و این روند را تکرار می کند، دوباره جمع آوری متن و مجموعه ای از لینک در صفحه بعد. مجددا تکرار این روند، تا زمانی که ربات کلمه شما را پیدا کند.

برای جزئیات بیشتر به کد نگاه کنید!!!

این کد کاملا بصورت فانکشنی است که در پایتون 3.2.2 نوشته و اجرا شده. می تونید اونُ کپی پیست کنید تو IDE خودتون و اجرا کنید یا اینکه تغییر بدید.

دانلود سورس خزنده وب

ادامه آموزش در لینک زیر:




نوع مطلب :
برچسب ها : خزنده وب، آموزش ساخت خزنده وب، وب کرالر، ساخت خزنده وب ساده، نوشتن كرالر، دانلود خزنده وب، سورس خزنده وب،
لینک های مرتبط :


سه شنبه 17 بهمن 1396 05:26 ق.ظ
سلام، من اعتقاد دارم که متوجه شدم شما وبلاگ من را دیدید، بنابراین برای رسیدن به این میل، اینجا آمده ام. من به دنبال آن هستم
پیدا کردن چیزهایی برای افزایش وب سایت من! من آن را مناسب برای استفاده از چند از مفاهیم خود را فرض کنید!
پنجشنبه 28 دی 1396 01:25 ق.ظ
شما واقعا این را با ارائه خود به نظر می رسانید، اما این موضوع را واقعا در بر می گیرد
من فکر می کنم هرگز نمی فهمم به نظر می رسد بیش از حد پیچیده و بسیار گسترده ای برای من.
من منتظر پست بعدی ام هستم، سعی خواهم کرد که قطع شود
از آن
شنبه 25 آذر 1396 01:05 ق.ظ
ممنون خیلی خوب بود
جمعه 17 آذر 1396 01:27 ق.ظ
Fastidious respond in return of this issue with real arguments
and explaining everything concerning that.
سه شنبه 11 مهر 1396 09:54 ق.ظ
ممنون از وبلاگ خوبتون
سه شنبه 11 مهر 1396 09:54 ق.ظ
خیلی خوب بود ممنون
دوشنبه 10 مهر 1396 10:36 ب.ظ
ممنون از وبلاگ خوبتون. به سایت ما هم حتما سر بزنید
دوشنبه 10 مهر 1396 08:57 ب.ظ
ممنون از وبلاگ خوبتون
دوشنبه 10 مهر 1396 08:57 ب.ظ
ممنون از وبلاگ خوبتون
 
لبخندناراحتچشمک
نیشخندبغلسوال
قلبخجالتزبان
ماچتعجبعصبانی
عینکشیطانگریه
خندهقهقههخداحافظ
سبزقهرهورا
دستگلتفکر
نظرات پس از تایید نشان داده خواهند شد.