מחקר ישראלי: טכנולוגיה חדשה מכינה תקציר אוטומטי למאמרים ארוכים בכל שפה
מאת:
מערכת Telecom News, 27.11.19, 12:38
הוצג הפתרון לקריאת מאמרים ארוכים בשיטה אוטומטית לתמצות טקסטים בכל שפה. השיטה נבדקה ב-9 שפות: אנגלית, עברית, ערבית, פרסית, רוסית, סינית, גרמנית, צרפתית וספרדית, והיא מראה דמיון רב לתקצירים שנעשו ע"י בני אדם.
עם הגידול העצום בטקסטים מקוונים, עולה הצורך בשיטות אוטומטיות לתמצות קבצי טקסט,
כמו מאמרים או ראיונות, לצורך המשך העיבוד, ובמקביל, מתקצר והולך הזמן העומד לרשותנו כדי לעבור על הכמויות העצומות של טקסטים המתפרסמים. משום כך, נחוצות שיטות אוטומטיות לתמצות טקסטים כתובים.
רוב השיטות האוטומטיות הקיימות כיום הן תלויות-שפה והאלגוריתמים שבבסיסן צריכים לעבור אימון מוקדם על כמויות גדולות של טקסט. כעת Technologies BGN, חברת מסחור הטכנולוגיה של אוניברסיטת בן-גוריון בנגב, שממסחרת את המצאות חוקרי האוניברסיטה ומטפחת שיתופי פעולה ויזמות בקרב חוקרים וסטודנטים, מציגה כלי חדש, אוטומטי, לתמצות טקסטים שאינו תלוי שפה. השיטה ישימה ל
תמצות מאמרים, כתבי עת, מסמכים וטקסטים אחרים במסגרת המאגרים עצמם או עבור משתמשי קצה כמו ספריות, מכוני מחקר או מנועי חיפוש כלליים.
השיטה החדשה, שהומצאה על ידי פרופ'
מרק לסט, ד"ר
מרינה ליטבק וד"ר
מנחם פרידמן, מהמחלקה להנדסת מערכות תוכנה ומידע באוניברסיטת בן-גוריון, מספקת תקצירים של טקסטים בשפות שונות, על סמך אלגוריתם המדרג את המשפטים במסמך, בעזרת מאפיינים סטטיסטיים של המשפטים. את הדירוג הזה ניתן לבצע למשפטים בכל שפה שהיא, ואז לחלץ משפטים בעלי דירוג גבוה לכדי תקציר. השיטה, שקרויה MUSE (קיצור של מחלץ משפטים רב-לשוני), נבדקה ב-9 שפות: אנגלית, עברית, ערבית, פרסית, רוסית, סינית, גרמנית, צרפתית וספרדית ואיכות התמצות שלה, נבחנה עד כה ב-4 שפות - אנגלית, עברית, ערבית ופרסית, והראתה דמיון רב לתקצירים שנעשו ע"י בני אדם.
ניסויים מראים, שלאחר אימון ראשוני של האלגוריתמים על מאגר של תקצירי מסמכים, שבו כל מסמך מלווה במספר תקצירים מעשה ידי אדם, התוכנה אינה חייבת לעבור אימון מחדש על תקצירים ידניים בשפות חדשות, ואותו מודל לדירוג משפטים יכול לשמש מספר שפות שונות.
פרופ'
מרק לסט: "תמצות מסוג זה, שבוחר את המשפטים הרלוונטיים ביותר מתוך הטקסט, ע"י דירוגם, חיוני כדי לייצר במהירות סיכומים של כמויות טקסט גדולות בשפות שונות. יכולת זו חשובה ביותר למנועי חיפוש, כמו גם עבור משתמשי קצה כמו מכוני מחקר, ספריות והמדיה".
צפריר לוי, סמנכ"ל פיתוח עסקי ב-BGN Technologies: "כלי זה יהווה תוספת רבת ערך ליכולת שלנו להפיק תועלת מהכמויות העצומות של טקסט הזמינות באופן מקוון. לאחר שהגשנו בקשת פטנט עבור הטכנולוגיה, אנו מחפשים כעת שותפים פוטנציאליים להמשך הפיתוח והמסחור של המצאה מבטיחה זו".
