3 תחזיות מרכזיות ל-2021 בתחומי יכולות אחסון, ניהול ועיבוד נתונים בענן
מאת:
מערכת Telecom News, 23.12.20, 12:33
כעת מודדים דברים בזטה-בייט, שהם כמיליון פטה-בייט, ואין דרך חזרה - הנתונים רק הולכים להתרחב בארגון. הדרך היחידה לטפל בכך היא באמצעות אוטומציה. מאגמי נתונים למחסני נתונים ולמערך נתונים יעיל עבור פלטפורמות AI ו-ML.
חברת פייבטראן (
Fivetran), שעוסקת במתן פתרונות אוטומטיים מנוהלים לאינטגרציית ענן, מספקת 3 תחזיות מרכזיות לקראת 2021:
ג'ורג' פייזר, (בתמונה משמאל), מנכ"ל
Fivetran:
"השימוש באגמי נתונים (Data lack) ילך ויפחת:
לפני מספר שנים, ארגונים רבים אימצו שימוש באגמי נתונים בשל העובדה, שהשימוש בהם היה חסכוני. עד היום, חברות וארגונים עדיין עובדים עם אותם אגמי נתונים שקיבלו בירושה מהתקופה הזו. הצורך בשימוש באגמי נתונים במערכי הנתונים של חברות ילך ויתכווץ במהלך השנה. לאור צמיחתם של מחסני הנתונים (
data warehouses) המאפשרים להפריד בין מחשוב לבין אחסון, כבר לא תהיינה סיבות טכניות לעשות שימוש באגמי הנתונים הללו.
מחסן נתונים מהסוג החדש מעניק לארגון את כל היתרונות, שאגמי נתונים מעניקים לו ואף מעבר. מחסני נתונים הם ידידותיים יותר למשתמש מאשר אגמי נתונים. בעולם של מערך נתונים מודרני (
Modern Data Stack – MDS) אגמי נתונים הופכים להיות טכנולוגיה מיושנת. מעבר לכך, לארגון, שבונה מערכת נתונים חדשה ב-2021, מומלץ לבחון מחסני נתונים מבוססי ענן, שנותנים מענה אידיאלי לניהול מערך נתונים מודרני.
טכנולוגיית Apache Arrow תהפוך למרכיב חיוני, שיסייע למערך הנתונים המודרני להיות יעיל עבור פלטפורמות בינה מלאכותית (AI) ולמידת מכונה (ML):
Apache Arrow היא טכנולוגיה נוספת, שאני נרגש לגביה לקראת 2021 ומעבר לכך.
Apache Arrow הוא פורמט סידורי נפוץ המאפשר למערכות שונות להחליף נתונים בקצב גבוה מאוד. זהו פתרון אידיאלי עבור עומסי עבודה של פלטפורמות מדעי נתונים, שאינן
SQL, ונמצאות במחסן נתונים.
מספר מחסני נתונים החלו בהטמעת הטכנולוגיה עד כה, אבל עדיין יש לאן לשאוף. אני חושב, שאנו עומדים לראות מערכי נתונים רבים המאמצים את הטכנולוגיה הזו במהלך השנה הבאה. זהו כלי חיוני והוא מהווה גורם מרכזי בהפיכת מערך הנתונים המודרני לכזה המתאים לעומסי עבודה של למידת מכונה (
ML) ובינה מלאכותית (
AI)".
פריז'ר האריס, (בתמונה משמאל), סמנכ"ל מוצרים ב-
Fivetran:
יכולות עיבוד הנתונים תלכנה ותתפתחנה:
"עם הצורך של חברות לאחסן ולעבד כמות נתונים שהולכת וגדלה, כך גם נמשיך להיות עדים לפיתוח פתרונות ולשדרוג הכלים המאפשרים זאת בעולמות עיבוד ואחסון הנתונים. כעת יותר מתמיד, אינטגרציה אוטומטית של נתונים היא הדרך היחידה לנוע קדימה. אנו רואים זינוק עצום בהיקף הנתונים ובמגוון המשאבים, שחברות צריכות לעבד.
אנו מודדים כעת דברים בזטה-בייט, שהם כמיליון פטה-בייט, ואין דרך חזרה - הנתונים רק הולכים להתרחב בארגון. הדרך היחידה לטפל בכך היא באמצעות אוטומציה.
ב-2021, נמשיך לראות אימוץ של טכנולוגיות חדשות ואינטגרציה של מוצרים, שנועדו לשפר תהליכי עבודה עבור אנליסטים. עם הגידול בהיקפי הנתונים, כך גם גובר הצורך בכלים היכולים לתמוך בתפעול נתונים מתוחכם יותר. דוגמא לכך היא
dbt, כלי הנדסת האנליטיקה הפופולרי בקוד פתוח. אני חושב, שהוא יהווה גורם חשוב במערך הנתונים המודרני ב-2021 ומעבר לה".
