מדידה אקוסטית וכיול
אפיון של מיקרופונים, חיישנים ושרשרת המדידה. בוחנים רגישות, תגובת תדר, רצפת רעש וטווח דינמי, כדי להבין במה הנתונים יכולים לתמוך.
MLAIA · אודיו ואקוסטיקה
אלגוריתמים שעומדים
במבחן המכשיר האמיתי.
ליצרני אוזניות, אוזניות ראש ומכשירי שמיעה לבישים, לצוותי חישה ברחפנים, בביטחון ובאבטחה, ולניטור מצב מכונות בתעשייה. פיתוח אלגוריתמים לעיבוד אותות שמשלב אקוסטיקה, DSP ולמידת מכונה, נבנה ונבדק על המיקרופונים, החומרה והרעש שלכם.
מאחורי התחום
- בהובלת ד״ר יוחאי אדליץ, דוקטורט ממכון ויצמן
- ממציא שותף בפטנטים רשומים בעיבוד אותות אקוסטיים ולמידת מכונה
עם מי אנחנו עובדים
שלושה סוגי צוותים.
שרשרת אות אחת.
01אוזניות, אוזניות ראש ומכשירי שמיעה לבישיםהפחתת רעשים, ביטול רעשים אקטיבי (ANC) ו-beamforming עם שניים או שלושה מיקרופונים, תקציב הספק זעיר והשהיה נמוכה מאוד. (באנגלית)02רחפנים, ביטחון ומערכות חישה לאבטחהזיהוי ואיתור של קולות בתוך רוח, רעש מנועים והפרעות רקע, על חומרה שצריכה להחליט במקום. (באנגלית)03ניטור מצב מכונות בתעשייהאותות רעידה ואותות אקוסטיים ממכונות ומצנרת, שהופכים למאפייני תקלה ולהתראות שאפשר לקשור חזרה לפיזיקה. (באנגלית)
אקוסטיקה קלאסית ועיבוד אותות ספרתי
להבין את הפיזיקה.
להנדס את האות.
מערכת אודיו שימושית מתחילה בהבנה איך הקול נוצר, איך הוא נקלט ואיך הוא משתנה בדרך. אנחנו עובדים לאורך כל מערך המדידה, שרשרת האות והאלגוריתם, כך שפיתוח האלגוריתמים וההחלטות על המודל נשענים על מה שהחיישנים באמת מודדים.
ניתוח בזמן ובתדר
שימוש ב-FFT, ספקטרוגרמות, הערכות ספקטרליות וקורלציה כדי לחקור הרמוניות, תופעות מעבר, מחזוריות והפרעות, ולקשר את הדפוסים שנמצאו למקורות הפיזיקליים שלהם.
תכנון מסננים והפחתת רעשים
תכנון מסננים סלקטיביים בתדר והערכה של אסטרטגיות להפחתת רעשים. שוקלים את האיזון בין דיכוי האות הלא רצוי, שמירה על האות השימושי והשהיית העיבוד.
להאזין לניסוי הסינון (באנגלית) ←מערכי מיקרופונים ו-beamforming
שימוש במידע מרחבי כדי להתמקד בכיוון מסוים, תוך התחשבות בגאומטריית המערך, בהשהיות ההתפשטות, בתגובה שתלויה בתדר ובסביבה האקוסטית.
לכוון את סימולציית המערך (באנגלית) ←רעידות וחישה פיזיקלית
ניתוח של אותות רעידה, תהודות ותגובות חיישנים. מתכננים ניסויים שאפשר לשחזר ומפרשים את המדידות בהקשר של המכניקה שמאחוריהן.
צנרת עיבוד אותות בזמן אמת
הנדסה של דגימה, אגירה (buffering), סינון והפקת מאפיינים סביב מכשיר היעד. בודקים את המסלול המלא מהקליטה ועד הפלט, כולל השהיה ומגבלות חישוב.
לבחור את השיטה שמתאימה לבעיה
DSP קלאסי. למידת מכונה.
או שילוב מתוכנן היטב.
מתחילים מבסיס של עיבוד אותות, ומוסיפים מודלים נלמדים כשהמשימה דורשת אותם, למשל בזיהוי אירועים אקוסטיים או בזיהוי דיבור. במערכת משולבת ה-DSP יכול להכין את האות והמודל לפרש אותו, וכל שלב נבדק מול אותן דרישות תפעוליות.
עבור המוצר שלכם, המשמעות היא לבדוק דיוק לצד איכות אות, עמידות, השהיה, זיכרון וצריכת הספק, ולא להתייחס לציון של המודל כאילו הוא המערכת כולה.
למעבדת האודיו (באנגלית) ←שמיעה סמנטית ובינה אקוסטית
להבין אילו קולות חשובים.
לעבור ממדידה של אות לפרשנות של המשמעות שלו עבור יישום מסוים. משלבים אקוסטיקה, עיבוד אותות ומודלים נלמדים כדי לזהות אירועים רלוונטיים ולתמוך בהאזנה סלקטיבית.
זיהוי אירועים קוליים
מגדירים את הקולות שהמערכת צריכה לזהות, אוספים דוגמאות מייצגות ובודקים את הזיהויים מול התראות שווא ואירועים שהוחמצו.
האזנה עם מטרה
מחברים בין סוגי קולות והקשר לבין הצרכים של המשתמש. מחליטים אילו אירועים לשמר, להדגיש או להגיב אליהם, ובודקים את חוויית ההאזנה כולה.
בינה מלאכותית על המכשיר
איזון בין איכות הזיהוי, השהיה, זיכרון וצריכת הספק בטלפונים ובחומרה משובצת. בודקים עם הרעש, המיקרופונים ותנאי ההפעלה שהמוצר יפגוש בפועל.
המעבדה האינטראקטיבית הנוכחית מדגימה עקרונות של עיבוד אותות קלאסי באמצעות אודיו סינתטי. היא אינה מריצה מודל לזיהוי סמנטי של קולות.
נושאי התמחות
להעמיק
בבעיה ספציפית.
כל עמוד נושא מסביר איך אנחנו ניגשים לבעיה, מה אנחנו מודדים ואילו שאלות כדאי לסגור לפני שפרויקט מתחיל. העמודים זמינים כרגע באנגלית.
מערכי מיקרופונים ו-beamforming
גאומטריית מערך, הערכת כיוון הגעה ו-beamformers קבועים או אדפטיביים, שמתוכננים סביב המכשיר והחדר.
Beamforming ומערכי מיקרופונים (באנגלית) ←הפחתת רעשים וביטול רעשים אקטיבי
שיפור דיבור, ביטול הד וביטול רעשים אקטיבי (ANC), באיזון בין דיכוי הרעש לבין עיוות והשהיה.
הפחתת רעשים ו-ANC (באנגלית) ←AI לאודיו על המכשיר
מילות הפעלה, אירועים קוליים ומודלי דיבור בטלפונים, במעבדי DSP ובבקרים ייעודיים, בתוך מגבלות הזיכרון, ההשהיה וההספק.
AI לאודיו על המכשיר (באנגלית) ←ניתוח רעידות
אותות של מדי תאוצה ואותות רעידה לניטור מצב ולחישה במוצרים, מהתקנת החיישן ועד מאפייני תקלה וזיהוי חריגות.
ניתוח רעידות (באנגלית) ←מנקודת המבט של לקוח
מוכרים בזכות מומחיות באודיו וב-DSP.
”המומחיות והידע הרחב שלכם היו גורם מרכזי בביסוס תשתית ה-AI שלנו.“
Tzvika Fridman, CTO, Silentium
תרגום של קטע מההמלצה שפורסמה באתר של MLAIA (במקור באנגלית).
ממשקים קוליים
דיבור שמתחבר לתהליכי העבודה שלכם.
המרת דיבור לטקסט (STT), המרת טקסט לדיבור (TTS) ומודלי אודיו ייעודיים לתחום. בודקים יחד שפה, אוצר מילים, רעש והשהיה, ואז מחברים את הממשק הקולי לעוזר דיגיטלי או לתהליך עסקי.
AI בקצה, במערכות משובצות ובעולם הפיזי
ממודל מאומן
למכשיר שעובד.
הניסיון שלנו בפרויקטים כולל פריסה של מודלים של למידת מכונה ולמידה עמוקה בטלפונים מבוססי Android ו-iOS, וגם בבקרים ייעודיים ליישומים בתחום הרחפנים והאוזניות.
הסקה בטלפון הנייד
הרצת מודלים בתוך אפליקציות Android ו-iOS. מתכננים סביב משאבי המכשיר, הגישה לחיישנים, זמני התגובה והחוויה של מי שמשתמש באפליקציה.
בקרים ייעודיים
הבאת ההסקה לחומרה מוגבלת במשאבים. בוחנים את גודל המודל, הזיכרון, זמן העיבוד וצריכת ההספק לצד דרישות הדיוק של היישום.
רחפנים, אוזניות ומערכות פיזיקליות
מחברים חישה והסקה למכשירים שפועלים בעולם הפיזי. מגדירים איך התחזיות מניעות את התנהגות המכשיר, ואז מאמתים על חומרת היעד.
שיקולים הנדסייםדחיסת מודלים וקוונטיזציהצנרת עיבוד אותותתקציבי השהיה והספקהערכה ברמת המכשירAndroid ו-iOSבקרים ייעודייםרחפנים ואוזניותמגבלות קישוריות
AI לאודיו על המכשיר, לעומק (באנגלית) ← לסימולציית מערך המיקרופונים (באנגלית) ←
איך מתנהל פרויקט
מודדים. בונים אב-טיפוס. מריצים על המכשיר.
מדידה ובדיקה של שרשרת האות
אנחנו בודקים את המיקרופונים או החיישנים, את אופן ההתקנה, את הדגימה ואת רצפת הרעש. כך תדעו במה הנתונים יכולים לתמוך ובמה לא.
אב-טיפוס על נתונים מוקלטים
אנחנו בונים בסיס DSP, ואחר כך שיטות נלמדות או היברידיות, אם הן עוקפות אותו. הכול נמדד על הקלטות מהמכשיר שלכם.
גרסה בזמן אמת, על המכשיר
אנחנו מעבירים את השיטה שנבחרה לטלפון, ל-DSP או לבקר שלכם. השהיה, זיכרון וצריכת הספק נמדדים על מכשיר היעד, ולא מוערכים.
בדיקות שטח ומסירה
אנחנו בודקים בסביבה האמיתית, בוחנים כשלים ומכווננים. אתם מקבלים את הקוד, סט הבדיקה והתיעוד, כדי שהמערכת תהיה שלכם.
תובנות
אודיו ועיבוד אותות,
במאמרים.
המאמרים והמדריכים זמינים כרגע באנגלית.
לפני שמתחילים
שאלות טובות. תשובות ישירות.
זה ירוץ על ה-DSP או על ה-Cortex-M שלנו?
לעיתים קרובות כן, בזיהוי מילות מפתח, באירועים קוליים ובמאפייני רעידות. קודם אנחנו מתאימים את שלב העיבוד המקדים ואת המודל לזיכרון, לתדר השעון ולצריכת ההספק שלכם, ומודדים על מכשיר היעד לפני שאנחנו מתחייבים למספר.
אפשר לעבוד עם המיקרופונים הקיימים שלנו?
כן, ואנחנו אפילו מעדיפים. אנחנו מאפיינים את המיקרופונים ואת אופן ההתקנה שאתם משווקים, ואז מאמנים ובודקים על הקלטות מהם, כי מודל שכוונן על חומרה אחרת נוטה לאבד מהביצועים שלו על החומרה שלכם.
אילו נתונים צריך כדי להתחיל?
הקלטות מהמכשיר האמיתי בסביבה האמיתית, גם אם זה סט קטן, ותיאור של הקולות או התקלות שחשובים לכם. אם עדיין אין לכם הקלטות, הצעד הראשון הוא תוכנית הקלטה.
האם כל בעיית אודיו דורשת רשת נוירונים?
לא. במשימה מוגדרת היטב ייתכן שסינון, ניתוח ספקטרלי או מודל פיזיקלי יספיקו. אנחנו בוחרים את הגישה לפי ביצועים מדודים ולפי האילוצים של המוצר. כשלמידת מכונה מוסיפה ערך, אנחנו בודקים אותה כחלק משרשרת האות המלאה.
אתם יכולים לשפר מודל אודיו קיים?
כן. אפשר להתחיל בסקירה ממוקדת של הנתונים, התיוג, שרשרת האות ומגבלות הפריסה, ואז לסכם יחד תוכנית הערכה לפני שמשנים את המודל.
אתם יכולים להבטיח השהיה או דיוק מסוימים?
את היעדים צריך לקבוע מול החומרה שלכם, סביבת ההפעלה ונתוני בדיקה מייצגים. אנחנו מגדירים איתכם את תקציב ההשהיה המלא ואת מדדי השגיאה הרלוונטיים, ולא מבטיחים מספרי ביצועים שלא נבדקו.
אתם עובדים גם מעבר לדיבור?
כן. התחום כולל אירועים אקוסטיים, רעידות ואותות חיישנים, ומשלב הבנה פיזיקלית עם שיטות סטטיסטיות ושיטות של למידת מכונה.
אודיו ואקוסטיקה
לקביעת שיחת היתכנות של 30 דקות.
ספרו לנו על המכשיר, על המיקרופונים או החיישנים, ועל הקול שצריך לזהות, להסיר או למדוד. נגיד לכם מה נראה ישים ומה כדאי למדוד קודם.
נא לא לצרף מאגרי נתונים חסויים, פרטי התחברות או מידע על מטופלים.