۱.۲) شناسایی و کشف موتورهای جستجو برای نشت اطلاعات

|WSTG-INFO-01|

خلاصه

برای اینکه موتورهای جستجو کار کنند، برنامه های کامپیوتری (یا ربات ها) به طور منظم داده ها را از میلیاردها صفحه در وب دریافت (واکشی) می کنند (که به آن خزیدن (crawling) می گویند). این برنامه ها محتوای وب و عملکرد را با دنبال کردن پیوندهایی از صفحات دیگر یا با مشاهده نقشه های سایت (sitemaps) پیدا می کنند. اگر سایتی از فایل خاصی به نام robots.txt برای فهرست کردن صفحاتی استفاده کند که نمی خواهد موتورهای جستجو واکشی کنند، صفحات فهرست شده در آنجا نادیده گرفته می شوند. این یک نمای کلی است - گوگل توضیح عمیق تری در مورد نحوه عملکرد یک موتور جستجو ارائه می دهد.

آزمایش کنندگان می توانند از موتورهای جستجو برای انجام شناسایی در سایت ها و برنامه های وب استفاده کنند. عناصر مستقیم و غیرمستقیم برای کشف و شناسایی موتورهای جستجو وجود دارد: روش های مستقیم مربوط به جستجوی فهرست ها و محتوای مرتبط از حافظه پنهان است، در حالی که روش های غیرمستقیم به یادگیری اطلاعات حساس طراحی و پیکربندی از طریق جستجو در انجمن ها، گروه های خبری و سایت های مناقصه مربوط می شود.

هنگامی که یک ربات موتور جستجو خزیدن را کامل کرد، شروع به فهرست بندی محتوای وب بر اساس برچسب ها و ویژگی های مرتبط می کند، مانند <TITLE>، به منظور بازگرداندن نتایج جستجوی مرتبط. اگر فایل robots.txt در طول عمر سایت بروزرسانی نشود و متاتگ های HTML درون خطی که به ربات ها دستور می دهد محتوا را فهرست بندی نکنند، استفاده نشده باشد، ممکن است فهرست ها حاوی محتوای وب باشند که در نظر صاحبان سایت قرار گرفته نشده است. صاحبان سایت ممکن است از robots.txt، متاتگ های HTML، احراز هویت و ابزارهای ارائه شده توسط موتورهای جستجو برای حذف چنین محتوایی استفاده کنند.

اهداف آزمایش

• شناسایی کنیم که چه اطلاعات طراحی و پیکربندی حساس برنامه، سیستم یا سازمان به طور مستقیم (در سایت سازمان) یا غیرمستقیم (از طریق خدمات شخص ثالث) در معرض دید قرار می گیرد.

چگونه آزمایش کنیم

از یک موتور جستجو برای جستجوی اطلاعات بالقوه حساس استفاده کنید. این ممکن است شامل موارد زیر باشد:

• نمودارها و تنظیمات شبکه.
• پست ها و ایمیل های آرشیو شده توسط مدیران یا سایر کارکنان کلیدی.
• مراحل ورود و فرمت های نام کاربری.
• نام کاربری، رمز عبور و کلیدهای خصوصی.
• فایل های پیکربندی شخص ثالث یا سرویس ابری.
• فاش کردن محتوای پیام خطا.
• برنامه های غیر عمومی (توسعه، آزمایش، تست پذیرش کاربر (UAT)، و نسخه های مرحله بندی سایت ها).

موتورهای جستجو (Search Engines)

آزمایش را فقط به یک ارائه دهنده موتور جستجو محدود نکنید، زیرا موتورهای جستجوی مختلف ممکن است نتایج متفاوتی تولید کنند. نتایج موتورهای جستجو بسته به آخرین زمان خزیدن محتوا توسط موتور و الگوریتمی که موتور برای تعیین صفحات مرتبط استفاده می کند، می تواند از چند جهت متفاوت باشد. استفاده از موتورهای جستجوی زیر (به ترتیب حروف الفبا) را در نظر بگیرید:

• بایدو (Baidu)، محبوب ترین موتور جستجوی چین است.
• بینگ (Bing)، یک موتور جستجو که متعلق به مایکروسافت است و توسط آن اداره می شود و دومین موتور جستجوی محبوب در سراسر جهان است. از کلمات کلیدی جستجوی پیشرفته (advanced search keywords) پشتیبانی میکند.
• بین سرچ (binsearch.info)، یک موتور جستجو برای گروه های خبری Usenet باینری است.
• کامن کرول (Common Crawl)، "یک مخزن باز از داده های خزیدن وب که برای هر کسی قابل دسترسی و تجزیه و تحلیل است."
• داک داک گو (DuckDuckGo)، یک موتور جستجوی متمرکز بر حریم خصوصی است که نتایج را از منابع مختلف جمع آوری می کند. از نحو جستجو (search syntax) پشتیبانی می کند.
• گوگل (Google)، که محبوب ترین موتور جستجوی جهان را ارائه می دهد و از یک سیستم رتبه بندی برای بازگرداندن مرتبط ترین نتایج استفاده می کند. از اپراتورهای جستجو (search operators) پشتیبانی می کند.
• اینترنت آرشیو وی بک مشین (Internet Archive Wayback Machine)، "ساخت یک کتابخانه دیجیتالی از سایت های اینترنتی و سایر مصنوعات فرهنگی به شکل دیجیتال است."
• شدان (Shodan) ، سرویسی برای جستجوی دستگاه ها و سرویس های متصل به اینترنت. گزینه های استفاده شامل یک طرح رایگان محدود و همچنین برنامه های اشتراک پولی است.

اپراتورهای جستجو (Search Operators)

اپراتور جستجو یک کلمه کلیدی یا نحو خاص است که قابلیت های جستجوی معمولی را گسترش می دهد و می تواند به دستیابی به نتایج خاص تری کمک کند. آنها به طور کلی به شکل operator:query هستند. در اینجا برخی از اپراتورهای جستجوی رایج پشتیبانی شده آورده شده است:

• site: جستجو را به دامنه ارائه شده محدود می کند.
• inurl: فقط نتایجی را برمی گرداند که شامل کلمه کلیدی در ‫URL باشد.
• intitle: فقط نتایجی را برمی گرداند که کلمه کلیدی در عنوان صفحه دارند.
• intext: یا inbody: فقط کلمه کلیدی را در بدنه ‫(body) صفحات جستجو می کند.
• filetype: فقط با یک نوع فایل خاص مانند ‫png. یا ‫php. مطابقت دارد.

به عنوان مثال، برای یافتن محتوای وب owasp.org که توسط یک موتور جستجوی معمولی فهرست (ایندکس) شده است، نحو (دستورالعمل) مورد نیاز عبارت است از:

site:owasp.org

\

شکل 1-4.1.1: مثال نتیجه جستجوی عملیات سایت گوگل

شکل 1-4.1.1: مثال نتیجه جستجوی عملیات سایت گوگل

مشاهده محتوای ذخیره شده در حافظه پنهان (Viewing Cached Content)

برای جستجوی محتوایی که قبلاً ایندکس شده است، از عملگر :cache استفاده کنید. این برای مشاهده محتوایی که ممکن است از زمان فهرست (ایندکس) شدن تغییر کرده باشد یا دیگر در دسترس نباشد مفید است. همه موتورهای جستجو محتوای ذخیره شده را برای جستجو ارائه نمی کنند. مفیدترین منبع در زمان نگارش گوگل است.

برای مشاهده owasp.org به صورت کش شده، نحو (دستورالعمل) به صورت زیر است:

cache:owasp.org

\

شکل 2-4.1.1: مثال نتیجه جستجوی عملیات کش گوگل

Google Hacking یا Dorking

جستجو با اپراتورها وقتی با خلاقیت آزمایشگر ترکیب شود می تواند یک تکنیک کشف بسیار مؤثر باشد. اپراتورها را می توان زنجیره ای کرد تا به طور موثر انواع خاصی از فایل ها و اطلاعات حساس را کشف کنند. این تکنیک که Google hacking یا Dorking نام دارد با استفاده از موتورهای جستجوی دیگر نیز تا زمانی که اپراتورهای جستجو پشتیبانی می شوند امکان پذیر است.

پایگاه داده ای از dorks، مانند Google Hacking Database، منبع مفیدی است که می تواند به کشف اطلاعات خاص کمک کند. برخی از دسته های dorks موجود در این پایگاه داده عبارتند از:

• رد پا (Footholds)
• فایل های حاوی نام کاربری
• دایرکتوری های حساس
• تشخیص وب سرور
• فایل های آسیب پذیر
• سرورهای آسیب پذیر
• پیغام خطا
• فایل های حاوی اطلاعات مهم
• فایل های حاوی رمز عبور
• اطلاعات حساس خرید آنلاین

اصلاح

قبل از ارسال آنلاین، حساسیت اطلاعات طراحی و پیکربندی را به دقت در نظر بگیرید.

به طور دوره ای حساسیت اطلاعات طراحی و پیکربندی موجود که به صورت آنلاین ارسال می شود را مرور کنید.