אבחון דפוסים חריגים באמצעות data science

מציגה: אדית אורי
ארגון:  Datalert

אחת הבעיות המרכזיות בשיטת בקרת האיכות הנוכחית, היא חוסר בכלים לניתוח חריגים. בארבעת השלבים הידועים של דמינג (Plan, Do, Check, Act),  אין התייחסות ספציפית לחריגים. עצם התבססותה של בקרת האיכות על סטטיסטיקה מכשילה השגת כלים לטיפול בחריגים, בגלל שסטטיסטיקה מכוונת לבחינת התנהגות נפוצה (prevalent) ומוסברת של נתונים, ואילו החריגים קורים לעיתים רחוקות. כך קורה לרוב שלחריגים אין הסבר וגם אין צבירה של מספיק נתונים חריגים שיאפשרו בחינה. מנתחי נתונים נדרשים "לנקות" מהמדגם רשומות חריגות (outliers), והתוצאה היא שלאחר הניקוי קשה עוד יותר להבחין בתופעות החריגות שהעדות לקיומן הוסרה. להתעלמות מחריגים יש עוד סיבה מלבד הכורח החישובי – רואים בהם פגם שפוגע במסקנות ועל כן צריך בתפיסה הקיימת לא לכלול אותם במדגם. 

בפועל, מרבית מערכת האיכות עוסקת באספקת נתונים מבוקרים שיתאימו לאילוצי המבחנים הסטטיסטיים שהם הבסיס של תקני האיכות. האבסורד במצב זה הוא שארגון המוצף בביג דטה צריך להוציא עוד כסף ולהשקיע עוד זמן באיסוף נתונים לטובת מערכת בקרת האיכות, מבלי שיתקדם בסופו של דבר להבנת הסיבות לחריגים ומניעתם.  בשיטה הקיימת, נראה שיש שני חוסרים (שאותם מדע הנתונים החדש* עשוי להשלים) – היעדר תמיכה במבחני השערות לחריגים, ובזבוז של משאבי נתונים והפוטנציאל הגלום בהם.

בשבעים השנה שחלפו מאז דמינג, התרחבו הדרישות ממערכת האיכות והן כוללות תחומי פעילות לא-מוחשיים (intangibles) , שירותים וניהול, אשר קשה מאד לכמת כראוי. מערכת האיכות נדרשת לשרת גם צרכים אסטרטגיים שלא היו בעבר, כגון מהירות תגובה, גמישות והישרדות מול מתחרים גלובליים. הדרישות האלה מוסיפות עומס אדמיניסטרטיבי על מערכת האיכות ועולות במחיר האפקטיביות שלה.

הפתרון המוצע, Is Real, נועד לענות על צרכים אלה בעזרת ביג דטה, גיוס נתונים זמינים, שילוב שלהם במערכת האיכות ויישומם לטובת שיפור האיכות. תפיסת הפתרון מתבססת על עקרונות וחוקים של מדע-הנתונים, שמתוכננים לגילוי שיטתי של דפוסים, כולל חריגים וגורמי המפתח שלהם. המיוחד בפתרון המוצע, שהוא תפיסה ניהולית ולא פתרון מסחרי, ובכך נפתחים שערי היישום למגוון של כלים שכבר קיימים, דבר שעוזר להרחבת השימושים ביישום ולהגדלת הערך המוסף שלו.

הנושא פתוח לשיתוף פעולה עם ארגון שיהיה מעונין ביישום מלא ראשון, כולל אתר להדגמת הפתרון. Is-Real שואב את השראתו ממהפכת האיכות ביפן בשנות ה-1960, והפוטנציאל הענק שיצרה של שיפור האיכות בעזרת אמצעים זמינים ולא יקרים.

*פרויקט מדע הנתונים החדש - https://researchgate.net/project/Philosophy-of-Data-Science-review-for-big-data-analytics

Discovery of Quality irregular patterns by use of big data

Presenter: Edith Ohri
Organization:  Datalert

One of the shortcomings of the current Quality system is the shortage of means to deal with exceptions, outliers or irregulars. In the Deming's four well known steps – Plan, Do, Check and Act – there is no specific reference to exceptions, and the very reliance of QC on statistics fails the attempt of attaining such tools for exception analysis, since statistics is made for testing common behavior not irregular, rare and unexplained. Data analysts are required as a standard procedure to “clean” outliers from the work sample, which makes it even harder to notice exceptions after the evidence of their existence are removed. There is yet another strong reason beside calculation necessity, for ignoring the exceptions – they are regarded as a sort of damaged data that weaken the conclusions, GIGO as it is called, therefor should be eliminated from the sample.

In practice, most of the Quality system deals with providing supervised data for the statistic tests, which are the basis of the Quality standards. The absurd is that an organization flooded with big data, may have to spend yet more time and money for QA approved data, without making any progress in understanding the exceptions and their prevention. In conclusion of the existing criticism, it seems to have two main shortcomings (which the new data science aims to complete) – inability to analyze exceptions and wasting data resources.

In the seventy years that passed since Deming, the Quality system has been expanded to new areas including intangible, services and management type activities hard to quantify adequately. The Quality system is required to support also strategic needs that did not exist in the past, such as agility, flexibility and survival-ability in global competition. These requirements add administrative burden on the Quality system and diminish its effectiveness.

The proposed solution “Is Real” comes to answer that challenge with the help of big data, by employing available data, combining and putting them at the service of Quality. The solution concept is based on the principles and laws of data science* designed to enable a systematic discovery of hidden patterns including those of irregular ones, and their key factors. The special thing in this solution is its being a management concept and not a commercial solution, thus opening the gate to a variety of tools that already exist in the organization, which helps in its application and gaining a higher added value.

The subject is open for collaboration with an organization that would be interested in applying a first full scale solution display site.

Is-Real takes its inspiration from the quality revolution half a century ago in Japan, and the huge potential that it created by improving the Quality based on available and inexpensive means.

*The new data science project - https://researchgate.net/project/Philosophy-of-Data-Science-review-for-big-data-analytics