אוֹדוֹת MetaDefender Cloud
MetaDefender Cloud הוא OPSWAT פלטפורמת מניעת איומים וניתוח תוכנות זדוניות מתקדמת מבוססת ענן. השילוב הייחודי שלנו של Deep CDR בשילוב עם Multiscanning ממעל 20 ממנועי ה-AV הטובים ביותר מגנים על ארגונים מפני התקפות יום אפס ותוכנות זדוניות מתוחכמות יותר ויותר. MetaDefender Cloud ארגז החול של בשילוב עם ניתוח גיבוב, IP ודומיין בזמן אמת באמצעות OPSWAT מסד הנתונים של מודיעין איומים ברמה עולמית של מסייע לחוקרי תוכנות זדוניות ומספק הבנה מעמיקה של איומים קיימים ופוטנציאליים.
MetaDefender Cloud הפלטפורמה תומכת כיום ביותר מ-5 מיליון בקשות סריקה ביום מלקוחותינו, ועדיין מספקת להם זמן סריקה ממוצע של 0.4 שניות.
למה פיתחנו MetaDefender כשירות (MDaaS)?
כדי לעמוד בדרישות השוק ולתמוך טוב יותר בלקוחותינו
רצינו להבטיח ש MetaDefender Cloud יכול להתרחב כדי לעמוד בדרישות המשתנות ובצורך הגובר בשירותי אבטחת יישומים מתקדמים ובמורכבות הגוברת של אבטחת DevOps ככל שיותר יישומים עוברים לענן. עם העלייה בתעבורת הקבצים, היה זה הכרחי ש MetaDefender Cloud מתחזק ומשפר את ביצועיו כדי להבטיח חוויית משתמש חלקה עבור לקוחות הקצה שלנו.
כדי לשפר את הניטור ואת קנה המידה החזוי
החלטנו להעביר את הארכיטקטורה המקומית שלנו ל-Kubernetes ענן-מקורית המבוססת על מיקרו-שירותים עם תשתית כקוד, כדי שנוכל לספק חוויה חלקה ועקבית על פני מודל הפריסה והניטור הנוכחי.
MetaDefender ארכיטקטורת שירות
ככל שעברנו ל-MDaaS, שלנו Multiscanning השירותים הועברו מהמערכת מבוססת Windows AMI לאשכול מבוסס Kubernetes. מנהלי מערכת יכולים כעת להגדיר מדרגיות לכל מנוע. מכיוון שביצועי המנועים שונים, ניתן להגדיל את המנוע/ים האיטי/ים יותר כדי לשמור על זמני סריקה מהירים.
תהליך עיבוד הקבצים כעת הוא כדלקמן:
1. הודעה ממבקש חיצוני נשלחת לנושא Kafka מסוג "בקשה" (1) עם הוראות בקשה, כגון סריקת קובץ עם AV1, AV2 וכו', ניקויו עם Deep CDR , וניתוח הקובץ באמצעות Sandbox וכו'
2. לאחר מכן, מחלץ למבדה (2), אשר נרשם לקבלת ההודעות, מחלק את הבקשה למספר פקודות שונות ושולח אותן לנושא קפקא אחר (3), שם הן מסווגות ומוקצות למנוע/ים הרלוונטיים. (4)
3. עיבוד המנוע (4) הוא לב המערכת. הוא מכיל מספר קונטיינרים של מנועים, פועל על שירות Amazon Elastic Kubernetes (EKS) ויש לו יכולת להגדיל או להרחיב בהתאם לעומס העבודה. כל מנוע מטפל בבקשה ספציפית שמשפרת את ביצועי העיבוד.
4. במהלך התהליך, דלי S3 (5) משמש גם לאחסון קבצי הקלט והפלט.
5. במקביל, מודול עיבוד יומנים זמין (6) מקבל את היומן מהמנועים ומעביר אותו למערכת ניתוח יומנים.
6. לאחר עיבוד הקובץ, התוצאה הנגזרת מכל מנוע מוחזרת לנושא "תוצאות" של קפקא (7)
7. לאחר מכן, צובר מיקרו-שירותים המשתמש ב-AWS Lambda (8) מאחד את התוצאות לדוח אחד ושולח אותו לנושא Kafka (9) ומחזיר אותו למבקש.
אתגרים טכניים ופתרונות
חיזוי התנהגות המנוע וטיפול בחריגות
הרופא המסורתי Core AMI הפריסה מאפשרת למנועי המערכת לפעול על מחשב רב עוצמה שבו הם יכולים לשתף את המשאבים (מעבד, זיכרון RAM, דיסק, רשת וכו') זה עם זה. עם זאת, עם ארכיטקטורת המיקרו-שירותים, כל מנוע פועל בנפרד במכולה פחות חזקה. לכן, היה לנו קשה להגדיר את דרישות המשאבים של המערכת במקרה זה.
כדי לטפל בבעיה זו, השתמשנו בנתונים היסטוריים מהמערכת הישנה כדי לקבוע קו בסיס לכל מנוע והוספנו ניטור Datadog. המשכנו לנטר את התנהגות המנועים ולכוונן את התשתית עד שהמוצר השיג ביצועים מעולים.
שמירה על איזון בין ביצועים לעלויות אירוח
עם הארכיטקטורה החדשה, MetaDefender Cloud ניתן להרחבה בקלות כדי להסתגל לצרכים האינסופיים של לקוחותינו ולבצע ביצועים אופטימליים. עם זאת, פירוש הדבר גם שעלות התחזוקה עלולה לעלות באופן יחסי. ללא בדיקות הוצאות או מודלים של ממשל, הרחבה עלולה להיות בלתי ניתנת לשליטה, מה שיוביל לעלייה בחשבונות שירותי הענן הרבה מעבר לתקציב הראשוני שהוקצה.
לכן, נערכו סקירות אדריכליות תכופות עם בעלי עניין על מנת להבטיח חוויה עקבית עם עלויות יציבות ומאוזנות.
סימולציית סביבה
סימולציה של עומס ייצור בסביבה שאינה ייצורית ללא נתונים אמיתיים היא אתגר. כדי להתמודד עם זה, הקמנו זרימות עבודה מקבילות כך שנתונים אמיתיים יעברו דרך הארכיטקטורה הישנה והחדשה, מה שיאפשר לנו להעריך מדדים מרכזיים של שתיהן זה לצד זה. השוואה זו של תפוחים לתפוחים אפשרה לנו לזהות במהירות וביעילות תחומים שבהם הארכיטקטורה החדשה עדיפה על הישנה, כמו גם היכן יש צורך לשפר את הארכיטקטורה החדשה.
ניטור, דיווח ובקרה
ניטור תשתית ענן בזמן אמת
MetaDefender Cloud שמה דגש חזק על בניית ניטור חזק במערכות שלה כדי לספק תמונה ברורה של בריאות המערכת. עבור שירות כמו MDaaS שיכול להתמודד עם מעל 44 בקשות לשנייה (RPS) בשיעור שגיאה של 0.6%, מסתמך על מספר מערכות במעלה הזרם ומערכות אקולוגיות של שותפים כמקור תעבורה ומייצר בו זמנית תעבורה כבדה עבור מערכות פנימיות וחיצוניות שונות במורד הזרם, חשוב שיהיה שילוב חזק של מדדים, התראות ורישום.
התראות על תעבורה חריגה גבוהה לפי סביבות ב-Datadog
בנוסף למדדי בריאות המערכת הסטנדרטיים כגון מעבד, זיכרון וביצועים, הוספנו מספר מדדי "קצה השירות" כגון גידול בתור, זמן תגובה של שירות, עוגת סטטוס ורישום כדי ללכוד כל סטייה ממערכות במעלה או במורד הזרם. יתר על כן, הוספנו ניתוח מגמות עבור מדדים חשובים כדי לסייע בזיהוי הידרדרות ארוכת טווח. עיצבנו את MDaaS עם יישום עיבוד זרמים בזמן אמת בשם Datadog (ניתן ללמוד עוד על כך כאן ). זה אפשר לנו לעקוב אחר אירועים בזמן אמת דרך הרשת ברמת פירוט ספציפית למכולה, מה שהקל על פתרון שגיאות. לבסוף, מצאנו שזה שימושי שיהיו לנו התראות ספציפיות לשירות כדי לסייע בזיהוי גורמי השורש של בעיות מהר יותר.
יצירת אירועים על חריגים הדורשים את תשומת ליבם של מהנדסי אמינות האתר ב-Datadog
ניטור SaaS עם פלטפורמת Datadog מאפשר לצוותים להצטרף למערכת מהר יותר ובקלות רבה יותר, ומבטל את הצורך בתחזוקת כלים שוטפת, הגדלת קיבולת, עדכון או ניהול. יתרונות אלה משמעותם יותר זמן לצוותים לעבוד על המוצר המרכזי מבלי שיצטרכו ליצור פתרון ניטור בעצמם.
תוצאות
• על ידי המעבר ל-MDaaS, המיקרו-שירות של המנוע גמיש יותר כעת כדי לסייע בעמידה בדרישות בקרת האבטחה הבסיסיות המתונות של FedRAMP .
• ניטור ביצועי האפליקציות משופר כעת עם התראות בזמן אמת ולוחות מחוונים. ארכיטקטורת המיקרו-שירותים החדשה מאפשרת למנהלי מערכת לנטר את האפליקציה וכל רכיב בקלות וביעילות. היא גם מאפשרת פריסה וסקלביליות קלות.
• ככל שתשתית מוגדרת כקוד, היא מאפשרת למשתמשים לערוך ולהפיץ בקלות תצורות תוך הבטחת המצב הרצוי של התשתית. משמעות הדבר היא שניתן ליצור תצורות תשתית הניתנות לשחזור.
למידע נוסף על MetaDefender Cloud או צרו קשר .
