צוות של חוקרים, מאוניברסיטאות בסין וסינגפור, בראשות ריצ’רד הונג ומנג וונג פיתחו שיטה ליצירת כתוביות ומאמרם זכה בפרס לפני כשנתיים. ההחידוש העיקרי, אותו מדגישים החוקרים נעוץ בייחוס הכתוביות לדמות הדוברת. לדבריהם, כבדי שמיעה וחירשים בפרט מתקשים להבין לאיזו מהדמויות על המסך מיוחסות הכתוביות.
על פי שיטת צוות החוקרים הטכנולוגיה החדשה מתאימה בין תנועת השפתיים של הדמויות על המסך עם המלל בתסריט ומציגה כתוביות מתוזמנות היטב בבועות לצד פני הדמויות.
סקרנו בעבר טכנולוגיות להקרנת כתוביות, בפוסט זה הטכנולוגיה המוצגת מתמקדת בשיטת יצירת הכתוביות ואופן הצגתן על המסך.
כתוביות סטאטיות מול כתוביות דינאמיות
בשיטה המקובלת כיום, המוכרת היטב בישראל, כתוביות מוצגות בתחתית המסך והן מסונכרנות עם דברי הדמויות או הקריינים. בדרך כלל מוצגים משפטים שלמים, אשר מתחלפים בסנכרון עם המלל הנאמר בסרט. החוקרים קוראים לשיטה זו שיטה סטאטית משום שאינה מבחינה בין הדוברים וקצב התקדמות דבריהם.
על פי השיטה הדינמית, שמוצעת ע”י וונג והונג, המלל מוצג בבועות המוצבות בשטחים פנויים בסמוך לפני הדמויות הדוברות בסרט. למרות שמשפט שלם מופיע בבועה, המילים הנאמרות מובלטות ע”י צבע אחר בסנכרון מלא עם קצב אמירתן, ומילה מילה. יותר מזה – השיטה ממחישה באופן ויזואלי את גובה הצלילים ומעניקה מידע חשוב לתפישת האדם עם ליקוי שמיעה.
המפתחים משתמשים בזיהוי תנועת שפתיים וזיהוי דיבור לסנכרון הכתוביות הדינאמיות. או במילים אחרות, התוכנה שלהם קוראת שפתיים!
הצגת הכתוביות בסמוך לפני הדוברים מזכירה את הסינרומן של שנות ה-70-80 (זוכרים? שמעתם?) או את חוברות הקומיקס. בעיניי, במבט ראשון, השיטה יוצרת עומס ויזואלי על המסך ומיועדת, אם בכלל, לאנשים עם לקות שמיעה חמורה בלבד. עם זאת, ייתכן וזה עניין של הרגל ומעניין לקבל משוב מהצופים.
על פי סקר שערכו יוצרי הטכנולוגיה בקרב 60 צעירים בני 11-22, 88% המשיבים העדיפו את שיטת הכתוביות הדינאמית על פני השיטה הסטאטית. לדברי החוקרים, המיעוט שביכר את שיטה הסטאטית, עשה זאת משום שזאת הייתה השיטה לה הורגלו.
מאידך, לאלגוריתם מיפוי פנים-טקסט/תסריט יש יישומים חשובים נוספים. דמיינו מה עוד ניתן לעשות עם תוכנה קוראת שפתיים!
כתוביות מיוצרות באופן אוטומטי
זאת בעיניי פריצת הדרך המשמעותית ביותר והיתרון הבולט של הטכנולוגיה החדשה. חלק זה בטכנולוגיה מייצר כתוביות בעודו מתבסס על התסריט המוכן וטכנולוגיית זיהוי דיבור.
נכון להיום סנכרון הכתוביות נעשה ע”י התערבות ידנית של העורכים, מה שמאריך באופן משמעותי את העבודה ומייקר את התהליך כולו.
בשיטה הכתוביות הדינאמיות, הזמן שנדרש ליצירתן הינו זמן הסרט בלבד. השיטה משווה בין התסריט לבין תוצאות זיהוי דיבור, ומייצרת את הכתוביות המסונכרנות. שיפור נוסף, יאפשר סינכרון מלא ויצירת כתוביות לתיאטרון וקולנוע.
לדברי החוקרים, בשלב זה, שיטת הבועות מהווה מחסום בפני מסחור משום שלעיתים הבועות מופיעות באזורים לא מתאימים או מיוחסות לדוברים הלא נכונים. החוקרים מציעים בדיקה ידנית על מנת לייעל את התהליך. אולם, האם הדבר לא יפגע דווקא ביתרון המשמעותי של הצמדת כתוביות אוטומטית?
מקור ידיעה: פיזאורג
