اپلیکیشن

تلفن همراه

April 16, 2018
17:34 دوشنبه، 27ام فروردینماه 1397
کد خبر: 89649

توضیحات کافه بازار و دیوار درخصوص حمله سایبری هفته گذشته

علی علایی‌زاده، مدیر زیرساخت مجموعه کافه‌بازار، دیوار و رسید در خصوص حمله سایبری هفته گذشته به مراکز داده و درس‌هایی که از این اتفاق گرفتیم توضیح می‌دهد:
 
جمعه  ۱۷ فروردین، سه محصول کافه‌بازار، دیوار و رسید حدود ۶ ساعت، از حدود ۱۰ شب تا ۴ صبح، در دسترس نبودند. مشکل ناشی از یک حمله سایبری به مراکز داده بود. این موضوع و اختلال دیگری در دیتاسنتر در هفته گذشته ( که طی آن، سرویس‌هایمان حدود ۲ ساعت دچار مشکلاتی شد)، باعث شد از این فرصت استفاده کنیم که هم از کاربرانمان عذرخواهی کنیم، هم در مورد راه‌حل‌هایی که به پیشگیری از این اختلال‌ها کمک می‌کنند صحبت کنیم و هم برنامه‌های خود را برای حل این مشکلات شرح بدهیم.
 
مشکل چه بود؟
حدود ساعت ۱۰ شب متوجه شدیم که سرویس‌های کافه‌بازار، دیوار و رسید به صورت کامل از دسترس کاربران خارج شده‌اند. بنا بر تجربه‌های گذشته، وقتی به مشکلات مشابهی برمی‌خوردیم، اولین حدس ما اختلال در زیرساخت‌های مشترکمان مثل کوبرنتیز، لود‌بالانسرها و یا دیتاسنتر بود. پس نخستین قدم این بود که سراغ زیرساخت مانیتورینگ محصولات و سرویس‌ها برویم.
 
اما در این حمله زیرساخت مانیتورینگ نیز به صورت کامل از دسترس خارج شده بود. دسترسی از راه دور به سرورها با استفاده از SSH هم کار نمی‌کرد؛ پس با دیتاسنتر افرانت تماس گرفتیم. در جواب گفته شد که اختلالی پیش آمده و در حال رفع مشکل‌اند. انتظار حل‌شدن مشکل از سوی دیتاسنتر تنها کاری بود که می‌شد کرد.
 
حدود یک ساعت گذشت. مشکل حادتر از همیشه به نظر می‌رسید. چندین بار با دیتاسنتر تماس گرفتیم و خواستیم که توضیحاتی در مورد مشکل پیش‌آمده بدهند یا زمان حدودی رفع مشکل را اعلام کنند ولی پاسخ تازه‌ای نمی‌شنیدیم. فقط می‌دانستیم که مشکلی وجود دارد و هیچ اطلاعاتی در مورد جنس مشکل نداشتیم. دانستن جنس مشکل ممکن بود ما را برای اقدامات لازم پس از رفع مشکلات توسط دیتاسنتر، آماده‌تر کند.
 
حدود ساعت ۱۲:۳۰، از توییت وزیر ارتباطات و سایت‌های خبری از حمله سایبری خبردار شدیم و حدس زدیم که این حملات ممکن هست که تجهیزات ما را هم دچار مشکل کرده باشد. (برای آشنایی با این مشکل امنیتی به این لینک مراجعه کنید). پس از هماهنگی‌های اولیه به سمت دیتاسنتر رفتیم و دیدیم که یکی از سوئیچ‌های ما هم دچار مشکل شده است. حدود ساعت ۱:۲۰ شروع به کار کردیم. پس از ساعتی، تیم NOC دیتاسنتر به ما خبر داد که مشکل آنها حل شده و ما هم پس از یک ساعت توانستیم سوئیچ‌ خود را به حالت عادی برگردانیم.
 
متاسفانه تاریخ بک‌آپ‌ تنظیمات سوئیچ‌ ما به حدود دو ماه پیش برمی‌گشت  که سبب شد بازگشت سوئیچ‌ به حالت اولیه یک ساعت به تاخیر بیفتد. مشکلاتی هم در زیرساخت ذخیره‌سازی بود که پس از ساعتی به صورت خودکار همگام‌سازی شدند. سرانجام در ساعت ۴ صبح بیشتر سرویس‌ها به حالت طبیعی برگشتند.
 
درس‌هایی که گرفتیم و ادامه راه
در طول این اتفاق، ما مدتی طولانی منتظر پاسخ از سوی دیتاسنتر ماندیم و به همین سبب به کاربران خود نیز با تاخیر اطلاع‌رسانی کردیم.  نخستین درس ما این بود که کاربرهای خود را زودتر در جریان اختلال‌های بزرگ قرار دهیم.
 
اما بزرگترین درسی که گرفتیم این بود که با تمام تلاش‌هایمان در سال‌های اخیر برای بالا بردن پایداری سرویس‌ها و تغییرات زیادی که در این حوزه انجام دادیم، همچنان به یک نقطه وابسته‌ایم. هرقدر هم این تک نقطه کیفیت بالایی داشته باشد، باز هم احتمال اختلال وجود خواهد داشت.
 
از چندماه پیش اقدام اولیه نسبت به چند-دیتاسنتر(Multi-Datacenter) شدن را آغاز کرده بودیم که پس از اتفاقات اخیر به اصلی‌ترین اولویتمان تبدیل شد.
 
در حال حاضر در حال مذاکره با چند دیتاسنتر هستیم. طراحی شبکه و رک‌های‌مان انجام شده. یکی از مسائل سخت چند-دیتاسنتر شدن مساله Replication دیتابیس است و به همین دلیل تیم تخصصی دیتابیس را هم راه‌اندازی کرده‌ایم که قصد دارد زیرساخت مشترکی برای تیم‌ها طراحی کند که با Consistency Modelهای مختلف بتوانیم نیازهای مجموعه را برطرف کنیم. ولی به نتیجه رسیدن کارهای این تیم ممکن است مدتی طول بکشد. به همین دلیل، همزمان موضوع  Replication  دیتابیس‌های فعلی را با روش‌های ساده‌تری در نقاط مختلف پی‌گیری خواهیم کرد.
 
سعی می‌کنیم جزئیات فنی، تجربه‌های‌مان و هر آن چیزی را که در این مسیر یاد گرفتیم، در وبلاگ فنی کافه‌بازار در اختیار همه قرار دهیم.
  • مشترک شوید!

    برای عضویت در خبرنامه روزانه ایستنا؛ نشانی پست الکترونیکی خود را در فرم زیر وارد نمایید. پس از آن به صورت خودکار ایمیلی به نشانی شما ارسال میشود، برای تکمیل عضویت خود و تایید صحت نشانی پست الکترونیک وارد شده، می بایست بر روی لینکی که در این ایمیل برایتان ارسال شده کلیک نمایید. پس از آن پیامی مبنی بر تکمیل عضویت شما در خبرنامه روزانه ایستنا نمایش داده میشود.

    با عضویت در خبرنامه پیامکی آژانس خبری فناوری اطلاعات و ارتباطات (ایستنا) به طور روزانه آخرین اخبار، گزارشها و تحلیل های حوزه فناوری اطلاعات و ارتباطات را در هر لحظه و هر کجا از طریق پیام کوتاه دریافت خواهید کرد. برای عضویت در این خبرنامه، مشترکین سیمکارت های همراه اول لازم است عبارت 150 را به شماره 201464 و مشترکین سیمکارت های ایرانسل عبارت ozv ictn را به شماره ۸۲۸۲ ارسال کنند. دریافت موفق هر بسته خبری که محتوی پیامکی با حجم ۵پیامک بوده و ۴ تا ۶ عنوان خبری را شامل میشود، ۳۵۰ ریال برای مشترک هزینه در بردارد که در صورتحساب ارسالی از سوی اپراتور مربوطه محاسبه و از اعتبار موجود در حساب مشترکین سیمکارت های دائمی کسر میشود. بخشی از این درآمد این سرویس از سوی اپراتور میزبان شما به ایستنا پرداخت میشود. مشترکین در هر لحظه براساس دستورالعمل اعلامی در پایان هر بسته خبری قادر خواهند بود اشتراک خود را در این سرویس لغو کنند. هزینه دریافت هر بسته خبری برای مشترکین صرفا ۳۵۰ ریال خواهد بود و این هزینه برای مشترکین در حال استفاده از خدمات رومینگ بین الملل اپراتورهای همراه اول و ایرانسل هم هزینه اضافه ای در بر نخواهد داشت.