מחקר: מהנדסי נתונים מתמודדים עם צינורות עיבוד נתונים שבירים וקשים לתחזוקה
מאת: מערכת Telecom News, 11.3.21, 13:00
על ארגונים להיות מודעים לאתגרים עמם מתמודדים אנשי הדאטה.אנשי מקצוע בתחום הנתונים, שמתמודדים עם בעיות תשתית באופן קבוע, מתקשים לעמוד בדרישות העסקיות של הארגון. ארגונים מתקשים למנף את כמות הנתונים העומדת לרשותם ולא מנצלים כראוי נתונים בעלי ערך.
על אף העובדה, שקבלת החלטות על בסיס נתונים היא גורם מכריע להצלחת עסקים בימינו, מחקר בינלאומי, שנערך באופן מקוון בקרב 543 מקצועני נתונים ב-5 יבשות, ושבוצע ע"י Dimensional Research מטעם ספקית אינטגרציית הנתונים Fivetran, חושף, שככלל, ארגונים מתקשים למנף את כמות הנתונים העומדת לרשותם.
על פי המחקר, 44% מהמשיבים ציינו, שנתוני מפתח עדיין אינם זמינים לשימוש לצורך קבלת החלטות, ו-68% אמרו, שהיו יכולים לחלץ תובנות עסקיות נוספות מהנתונים הקיימים, לו רק היה להם יותר זמן.
הסיבה לכך מיוחסת ברובה לבעיות הקשורות לחוסר יעילות בתחזוקת הנתונים עמו מתמודדים המהנדסים האחראיים על המרה של נתוני הארגון לפורמט קל לניתוח.
על פי המחקר, הסיבות המיוחסות לחוסר היעילות של מהנדסי הנתונים קשורות לצינורות עיבוד הנתונים (Pipelines), כאשר 98% מהמשיבים העידו, שחוו קושי בבניית צינורות עיבוד נתונים לצורך גישה לנתונים. יתרה מכך, כ-98% אף ציינו, שאותם צינורות העיבוד קורסים, ומחצית מהנשאלים (51%) אמרו, שזה קורה בתדירות של למעלה מפעם בחודש. המשיבים, שדיווחו על קריסה יומיומית של צינורות העיבוד, ציינו, שנגישות מקורות נתונים ושינויי סכימה הן הסיבות המובילות לקריסתם.
בשל העובדה, שמהנדסי הנתונים מבזבזים זמן יקר בתיקון ובתחזוקת צינורות העיבוד במקום להתמקד במשימות בעלות ערך, העסק סובל ופעילותו עלולה להיפגע.
לראייה, ממצאי הדו"ח מצביעים על כך, ש-66% מהנשאלים דיווחו על יעילות תפעולית מופחתת ו-59% מהנשאלים דיווחו על החלטות, שנדחו או הזדמנויות, שפוספסו בגלל פעילות תקולה של צינורות העיבוד.
בארגונים גדולים כמו בעסקים קטנים ובינוניים, גישה מיידית ומהימנה לנתונים היא גורם קריטי בקבלת החלטות. המחקר מראה, שבעיות בצינורות עיבוד הנתונים ממשיכות להכביד על התהליך, וכתוצאה מכך הארגונים מחמיצים תובנות רבות-ערך.
מבין הממצאים הנוספים של המחקר:
79% מהארגונים מתכננים לגייס מהנדסי נתונים נוספים בשנה הקרובה;
72% מהארגונים משנעים את נתוני המקור באופן יומי או בתדירות גבוהה יותר;
59% מהארגונים עושים שימוש ב-11 מקורות נתונים ומעלה;
91% אומרים, שבעיות עם זמינות המקור היא הסיבה לקריסה יומיומית של צינורות עיבוד הנתונים;
55% מדווחים, שדרוש יותר מיום עסקים אחד כדי לתקן צינור עיבוד תקול;
86% משתמשים בפתרונות מרובים לבניית צינורות עיבוד נתונים חדשים;
41% אומרים, שהיעדר אסטרטגיית נתונים (מדיניות, תהליכים, טכנולוגיה) היא אתגר הנתונים הגדול ביותר עמו מתמודד הארגון שלהם.
ג'ורג' פרייזר, מנכ"ל Fivetran: "מהנדסי הנתונים הם הכוח המניע מאחורי קבלת החלטות המייצרות הכנסות. אולם, הם עדיין נאלצים להתמודד עם צינורות עיבוד נתונים שבירים וקשים לתחזוקה. על הארגונים להיות מודעים לאתגרים עמם מתמודדים אנשי הדאטה, כדי שיוכלו לספק להם נתונים מהימנים בצורה קלה יותר".
