Search Results

עולם ה-Data Engineering מתפתח במהירות, ואחת המגמות המשמעותיות שמשנות את חוקי המשחק היא   Generative   AI . בפוסט הזה נסקור את היתרונות של בינה מלאכותית עבור הנדסת נתונים, נבחן מתי כדאי להשתמש בו, ומתי דווקא עדיף להימנע. בעוד שישנם שעדיין חוששים שמא AI יחליף את עבודתם, המציאות מראה שהשילוב בין אדם למכונה הוא שמוביל לפרודוקטיביות הגבוהה ביותר. במקום לראות ב-AI איום, יש להתייחס אליו ככלי שמעצים את היכולות האנושיות – מקצר תהליכים, משפר דיוק ומאפשר למהנדסי נתונים להתמקד במשימות מורכבות יותר שמצריכות יצירתיות ותובנה עסקית. ב Vision.bi   אנחנו לא רואים ב AI תחליף למהנדסים, אלא שותף שמאיץ תהליכים ומשפר ביצועים. בין אם אתם מהנדסי נתונים מנוסים או מנהלים טכנולוגיים שמעריכים כלים חדשים – המדריך הזה יספק לכם תובנות מעשיות ודוגמאות מהשטח. הבנת Generative AI בתהליכי הנדסת נתונים בינה מלאכותית יוצרת (Generative AI) הוא מודל למידת מכונה שמסוגל לייצר תוכן חדש – מקוד, דרך מסמכים, ועד טרנספורמציות של נתונים, על בסיס דפוסים שנלמדו ממאגרי מידע גדולים. בעולם הנתונים, זה יכול לכלול אוטומציה של קוד חוזר, יצירת תיעוד אוטומטי, ואפילו סיוע בניתוח נתונים ראשוני. לדוגמה, ניתן להשתמש במודל כמו ChatGPT או Copilot כדי ליצור סקריפטים של ETL על בסיס הנחיות כלליות. הפוטנציאל ברור – פיתוח מהיר יותר ושיפור בפרודוקטיביות. אך כמו כל כלי, גם כאן יש לשים לב למגבלות. איפה Generative AI מצטיין? 1.   חקר נתונים וניתוח ראשוני Generative AI הוא כלי חזק לשלב הראשוני של עבודה עם מאגר נתונים חדש. הוא יכול להציע תובנות ראשוניות ולהצביע על מגמות מעניינות. דוגמה:  צוות Data Engineering קיבל מאגר נתונים לא מובנה. באמצעות כמה שאילתות נכונות לAI הם יכולים לקבל דו"חות ראשוניים שיסמנו מגמות מרכזיות וחריגות פוטנציאליות, מה שיאפשר להם להתמקד בניתוח מעמיק יותר, במקום בניית דו"חות בסיסיים. 2.   יצירת קוד ו Pipelinesבאופן אוטומטי כתיבת קוד היא החלק שגוזל הכי הרבה זמן בפיתוח Data   Pipelines. במקרה זה, Generative AI יכול לקצר תהליכים על ידי יצירת תהליכי ETL/ELT + הצעת קוד לדוגמה. יתרה מכך, קיימת אפשרות להשתמש בAI עבור refactoring לקוד קיים. דוגמה : מהנדס נתונים צריך לבנות Pipeline  לעיבוד נתונים בstreaming . במקום להתחיל מאפס, הוא יכול לספק למודל דרישות כלליות – והמודל יעזור לו בבניית שלד קוד ראשוני שנדרש רק לכיוונון (tuning) כדי לעמוד בסטנדרטים של איכות נתונים. 3.  תיעוד ו Data Lineage אוטומטיים תיעוד מסודר הוא קריטי לעמידה ברגולציות ולמעקב אחר מקורות נתונים. Generative AI יכול לייצר תיעוד אוטומטי, לעקוב אחרי טרנספורמציות נתונים וליצור דיווחי  Data Lineage. דוגמה:  חברת שירותים פיננסיים השתמשה ב Generative AI  כדי לתעד אוטומטי את תהליכי עיבוד הנתונים שלהם. כך הם הבטיחו תיעוד מלא של כל שלב, מה ששיפר משמעותית את העמידה בדרישות הרגולציה והפך את תהליך הביקורת לפשוט יותר. מתי Generative AI לא אידיאלי? 1.   משימות מורכבות ודורשות מומחיות Generative AI מצטיין במשימות שגרתיות ומתועדות היטב, אך כיוםAI  עדיין לא מומחה לכל תחום, וכאשר נדרש ידע עמוק – המומחים בתחום הרלוונטי מנצחים. דוגמה: בתחום הבריאות, שבו הדיוק הוא קריטי, בינה מלאכותית עלולה להציע פתרונות שלא מתחשבים בניואנסים קריטיים של נתוני חולים. במקרה כזה, שימוש לא זהיר עלול לפגוע בשלמות הנתונים ואפילו בבטיחות המטופלים. 2.   איכות נתונים ובדיקות ולידציה בינה מלאכותית לא תמיד מזהה שגיאות עדינות או אנומליות נסתרות בנתונים מורכבים. דוגמה : חברת E-commerce השתמשה בAI  ליצירת קוד לבדיקה ואימות נתונים. בעוד שהקוד הראשוני נראה תקין, פיקוח אנושי היה הכרחי כדי לגלות מקרים גבוליים שבהם המודל שגה בהבנת כללי הוולידציה. 3.   אתגרי פרטיות ואבטחת מידע שימוש בבינה מלאכותית על נתונים רגישים עלול להוות סיכון אם לא מטפלים בכך כראוי. דוגמה:  סטארטאפ טכנולוגי שעבד עם נתוני משתמשים הקפיד על אנונימיזציה קפדנית והגדרות גישה מחמירות כדי למנוע דליפות מידע אפשריות. איך מחליטים אם להשתמש בGenerative AI? לפני שאתם ממהרים לאמץ את הבינה המלאכותית משימות שלכם, תשאלו את עצמכם: 1.  מורכבות המשימה  –  האם זו משימה פשוטה או דורשת ידע מעמיק בתחום? 2.  דיוק מול יעילות –  האם אפשר להשקיע זמן בביקורת ידנית כדי לוודא שהפלט תקין? 3.  אבטחה ופרטיות  –  האם הנתונים יכולים להיות מעובדים בבטחה ללא חשש לחשיפה? 4.  התאמה לסביבת העבודה  –  האם הכלי משתלב היטב ב-Data Stack הנוכחי? אם עניתם "כן" לרוב השאלות – כנראה שהבינה המלאכותית בהחלט יכולה לעזור לכם.  אם יש יותר מדי סימני שאלה – ייתכן שכדאי לשקול פתרונות נוספים.   סיכום Generative AI פותח הזדמנויות חדשות בעולם ה Data Engineering, החל מקיצור תהליכים ועד שיפור התיעוד. יחד עם זאת, ההצלחה טמונה בגישה מאוזנת: לנצל את ה-AI לייעול, אך לא לוותר על בקרת איכות אנושית. השורה התחתונה? ·       השתמשו ב-AI למשימות חזרתיות וסטנדרטיות. ·       שמרו על פיקוח אנושי במשימות מורכבות ורגישות. ·       מי שמשלב נכון בין אדם למכונה (AI) לא רק עובד חכם יותר, אלא גם מנצח.

בעידן הנתונים המודרני, ארגונים מתמודדים עם הצורך בניהול מידע שמתעדכן באופן תדיר ומיידי.Snowflake Dynamic Tables מספקות פתרון חדשני לניהול נתונים דינמיים בצורה אוטומטית וגמישה. באמצעותן, ניתן לבצע עדכון שוטף של הנתונים ללא צורך בהתערבות ידנית, תוך שיפור הביצועים והפחתת עומסי התחזוקה. מהן Dynamic Tables? Dynamic Tables הן טבלאות דינמיות המיועדות לשימוש במקרים של עיבוד נתונים בזמן אמת או בתהליכים אוטומטיים. הן מאפשרות שליטה על עדכון הנתונים ומספקות ביצועים גבוהים ואופטימיזציה מתמשכת. באמצעות Dynamic Tables, ניתן להגדיר חוקים ברורים לריענון הנתונים ולנהל עומסי עבודה בצורה חכמה יתרונות מרכזיים: ביצועים משופרים:  הטבלאות מתעדכנות באופן אוטומטי בעזרת Streams ו-Tasks, תוך ניצול מיטבי של משאבי Snowflake. פשטות בניהול:  אין צורך בהפעלה ידנית של תהליכי ETL – הכל קורה בצורה אוטומטית. תחזוקה מופחתת:  רענון הנתונים נעשה ללא צורך בהתערבות מתמשכת. עדכניות נתונים:  מובטח שהנתונים יהיו תמיד מעודכנים בהתאם לשינויים במקורות הנתונים. מתי להשתמש ב-Dynamic Tables? עיבוד נתונים בזמן אמת:  כאשר יש צורך לעדכן מידע שמגיע באופן שוטף, כגון נתוני מכירות, תנועות משתמשים או לוגים. שיפור ביצועים:  עדכון הנתונים מתבצע במהירות גבוהה, במיוחד כאשר נעשה שימוש ב-Incremental Refresh במקום Full Refresh. הקטנת מאמץ תפעולי:  כאשר רוצים להימנע מהפעלת עדכונים ידניים בתהליכי ETL. עדכון אוטומטי בזמן אמת ב-Live Connection : השימוש ב-Dynamic Tables ב-Tableau מאפשר שמירה על נתונים עדכניים ללא הצורך בעדכונים ידניים. ה-Dynamic Table יעדכן את הנתונים באופן אוטומטי בזמן השאילתות, כך ש-Tableau יקבל תמיד את המידע העדכני ביותר. הדבר מייעל את זרימת העבודה ומפחית את הצורך בעדכונים באמצעות Extract. חסרונות ומגבלות למרות היתרונות הרבים, ישנן מגבלות שחשוב לקחת בחשבון: מגבלות טכניות:  ישנן מגבלות על סוגי הנתונים ושאילתות SQL הנתמכות בטבלאות דינמיות. מחיקת מידע:  לא ניתן למחוק ישירות נתונים מתוך Dynamic Table. כמות טבלאות מוגבלת:  קיימת מגבלה על מספר הטבלאות הדינמיות שניתן ליצור בחשבון Snowflake אחד. עלויות:  עדכון תכוף של הנתונים עשוי להוביל להגדלת עלויות האחסון והעיבוד. צריכת משאבים:  ככל שתדירות העדכון גבוהה יותר, כך נדרש יותר כוח עיבוד, מה שעלול להשפיע על ביצועי תהליכים אחרים במערכת. דוגמת שימוש: Dynamic Table לעיבוד נתוני מכירות נניח שאנו רוצים ליצור Dynamic Table לעיבוד נתונים נכנסים ממערכת המכירות שלנו. נוכל להגדיר את הטבלה באופן הבא: הסבר הפרמטרים: Sales_Dynamic_Table   שם הטבלה הדינמית WAREHOUSE = my_warehouse   קובע את מחסן הנתונים שבו יבוצע העיבוד Comment   תיאור המסביר את מטרת הטבלה Target_Lag התדירות בה יתבצע עדכון הנתונים לטבלה(בדוגמא זה 15 דקות), חשוב לציין שיכולים להיות מקרים בהם הטבלה לא תהיה מתוזמנת לאחר 15 דקות בעקבות עומס במערכת סיכום Dynamic Tables ב-Snowflake מספקות פתרון חזק לניהול נתונים שמתעדכן בתדירות גבוהה, תוך שימוש בטכנולוגיות מתקדמות כמו Streams ו-Tasks. הן מאפשרות לארגונים להפחית את הצורך בתחזוקה ידנית, לשפר ביצועים ולהתמקד בחדשנות עסקית. על אף המגבלות, שימוש נכון בטבלאות דינמיות יכול לשפר משמעותית את ניהול הנתונים ולעזור במימוש ארכיטקטורת נתונים יעילה וגמישה יותר

סנופלייק הכריזה כי החל מאפריל 2025, תחסם האפשרות להתחבר באמצעות אימות מבוסס סיסמה בלבד  (Single-Factor Authentication). תרגמנו עבורכם את הנחיות סנופלייק והוספנו הערות ותובנות. מסמך המקור בקישור הזה רמת ההגנה המוגברת הזו מחזקת את יכולות האבטחה  של Snowflake Horizon Catalog , ומאפשרת למנהלי אבטחה ולקציני אבטחת מידע לשפר את המוכנות הארגונית לאיומים ולצמצם את הסיכון לגניבת אישורים (Credentials Theft) . שינוי זה מגיע לאחר ההכרזה הקודמת שלנו כי החל מאוקטובר 2024, אימות רב-גורמי (MFA) יהפוך לברירת המחדל עבור כל התחברות עם סיסמה  בחשבונות חדשים ב-Snowflake. מעבר הדרגתי לחסימת אימות מבוסס סיסמה בלבד כדי להבטיח מעבר חלק לכל הלקוחות, השינוי יתבצע בהדרגה בשלושה שלבים : אפריל 2025 – הפעלת מדיניות אימות ברירת מחדל (MFA חובה למשתמשים אנושיים) בשלב זה, Snowflake תאפשר לכל החשבונות את מדיניות האימות ברירת המחדל שלה, המחייבת MFA בהתחברות מבוססת סיסמה עבור משתמשים אנושיים. משתמשים אנושיים ללא מדיניות אימות מותאמת אישית   יידרשו להירשם ל-MFA  עם התחברותם הבאה באמצעות סיסמה. אם לחשבון כבר יש מדיניות אימות מותאמת אישית , חוויית ההתחברות לא תשתנה . חסימה של גישה ל-Snowsight עבור משתמשי LEGACY_SERVICE. אוגוסט 2025 – חובה על כל המשתמשים האנושיים להשתמש ב-MFA בשלב זה, גם אם מוגדרת מדיניות אימות מותאמת אישית, כל המשתמשים האנושיים  יידרשו להשתמש ב-MFA  בעת התחברות עם סיסמה. נובמבר 2025 – חסימה מוחלטת של אימות מבוסס סיסמה בלבד לכל המשתמשים סנופלייק תחסום כל כניסה  למערכת באמצעות אימות מבוסס סיסמה בלבד , ללא יוצאים מהכלל . שימוש במשתמשי LEGACY_SERVICE יופסק, וכל המשתמשים שהוגדרו תחת LEGACY_SERVICE יועברו אוטומטית ל-SERVICE. מה לא ישתנה? מדיניות זו אינה משפיעה  על: משתמשי Single Sign-On (SSO)  – המשתמשים ב-SAML או OAuth. משתמשים המתחברים עם Key-Pair Authentication (אימות באמצעות מפתחות הצפנה). איך להתכונן לשינוי - שימו לב כדי להקל על המעבר, Snowflake פרסמה מדריכים וכלים שיעזרו לכם לבצע את ההתאמות הנדרשות: מסמך טכני (White Paper)  ומדריך וידאו המפרט כיצד לבצע את המעבר . - מומלץ מאד - קישור *אנחנו ממליצים בחום לקרוא את המסמך המצוין ו/או לצפות בסרטון של סט׳ יוסוף המקצוען (מתחיל בדקה 09:19): הפעילו את Threat Intelligence Scanner  – סורק חדש ב-Snowflake Trust Center שיכול לזהות משתמשים בסיכון לאובדן גישה. סנופלייק עובדת עם שותפים  – כולל שיתוף פעולה עם Tableau  כדי להבטיח שהתממשקות כלי BI וניתוח נתונים תואמת לדרישות האימות החדשות. עקבו אחר הפרסומים של טאבלו לטובת הפעלת השינוי. מה עליכם לעשות עכשיו? התחילו להשתמש ב-MFA עבור כל המשתמשים האנושיים הגדירו Single Sign-On (SSO) לארגון שלכם באמצעות SAML או OAuth. עברו לאימות עם Key-Pair Authentication  עבור משתמשי מערכת (Service Users). השתמשו ב-Trust Center Threat Scanner  כדי לזהות משתמשים שעלולים לאבד גישה. ודאו שכל האפליקציות המתחברות ל-Snowflake מתעדכנות  כדי להימנע מהתלות ב-LEGACY_SERVICE. סיכום סנופלייק תחסום התחברות עם סיסמה בלבד עד נובמבר 2025. הפעלת MFA יהפוך לחובה  לכל המשתמשים האנושיים כבר מאוגוסט 2025. משתמשי שירות חייבים לעבור לאימות חזק  (SSO או מפתחות הצפנה). כלים ותמיכה זמינים  כדי לסייע ללקוחות במעבר. אם הארגון שלכם משתמש באימות מבוסס סיסמה בלבד, זה הזמן לפעול ולעבור לשיטות אימות מאובטחות יותר. לקוחות Vision.bi מוזמנים לפנות אלינו בכל שאלה בנושא. נספחים והערות נוספות 1. מערכות שאינן תומכות באחת מהשיטות במידה ואתם עובדים עם מערכת שאינה תומכת באימות מבוסס Key-Pair או Auth0, יש ליצור עבור המערכות הללו משתמש מסוג LEGACY_SERVICE . משתמשים אלו יוכלו להתחבר עם סיסמה עד נובמבר 2025 בלבד. שינוי משתמש למשתמש מערכת: ALTER USER [USER_NAME] SET TYPE = LEGACY_SERVICE; לצפייה במשתמשי מערכת (לגאסי): SHOW USERS; SELECT * FROM TABLE(RESULT_SCAN(LAST_QUERY_ID())) WHERE "type" = 'LEGACY_SERVICE'; 2. עבור משתמשים אנושיים עם SSO שמופיעים ב-Trust Center משתמשי SSO  – יכולים להמשיך להיכנס ללא שינוי, אך אם הם מופיעים כ- CRITICAL  ב- Trust Center , זה מעיד על כך שסיסמה עדיין מוגדרת להם. במצב כזה, יש להסיר את הסיסמה כדי למנוע אפשרות התחברות באמצעות כלים חיצוניים. הסרת סיסמא למשתמשי SSO: ALTER USER "[USER_NAME]" UNSET PASSWORD; להרצה על מספר משתמשים העתיקו את הפקודה מעמודת execute_sql. *שימו לב שהשאילתא מחזירה את כל המשתמשים שאינם SERVICE - התאימו אותה לצרכים שלכם: SHOW USERS; SELECT "has_password", "name", "owner", "type", concat('alter user "', "name", '" unset password;') AS execute_sql FROM TABLE(RESULT_SCAN(LAST_QUERY_ID())) WHERE "has_password" = true AND ifnull("type",'') != 'SERVICE';

The quilliup platform is designed to help companies run ongoing tests across all their data sources, giving data teams the peace of mind they need – knowing their business data is always accurate and ready for insights. quilliup The quilliup platform is designed to help companies run ongoing tests across all their data sources, giving data teams the peace of mind they need – knowing their business data is always accurate and ready for insights. DATA VALIDATION quilliup data testing enables companies to generate tailored tests which can be designed to automatically run across multiple data sets within any environment – making it easy to maintain a smooth data operation. DATA COMPLETION quilliup gives data teams the tools to create and automate ongoing tests to compare and validate data, which are crucial during the ETL and data migration processes. When quilliup detects a data issue or discrepancy, you’ll get notified – making it easy to find and address issues right away. In addition, our issue management console gives a comprehensive view across all data issues, assign ownership, and manage their status and priority level to ensure they are resolved on time. Improve governance across all your data sources Optimal Data Quality Ensure all your business data is accurate, as soon as it’s uploaded to your database or dashboards, and every time is updated. the insights you see and share are always accurate and verified. Stay in Control By automating your data testing processes, you’ll be alerted of any discrepancies, giving your team the opportunity to fix any problems before the data is used. Better Business Insights Share business insights with confidence and avoid costly or embarrassing mistakes resulting from bad data. Used by leading data-driven companies Use Your Business Data With Confidence Let's Talk

ויז'ן בי.אי מאפשרת לחברות להתייחס לנתונים כזהב ולספק שירותי נתונים מקיפים ומתקדמים. לשמש כזרז, לעזור לחברות לנצל את הנתונים שלהן כדי לקבל החלטות מושכלות המבוססות על נתונים ולפתח מוצרים טובים יותר המספקים ערך רב יותר ללקוחותיהן. מנתונים לתובנות מיקסום הנתונים ליצירת ערך עסקי לארגון השירותים שלנו פיתוח פלטפורמות אנליטיות ויז'ואליזציית נתונים פלטפורמת דאטה AI איכות הנתונים UI/UX עיצוב החזון שלנו לאפשר לחברות להתייחס לנתונים כנכס משמעותי, לספק שירותי פיתוח מקיפים ומתקדמים. Vision.bi מהווה מכפיל כוח לארגונים ועוזרת למקסם את הנתונים בכדי לקבל החלטות מושכלות המבוססות על דאטה ומאפשרת לפתח מוצרים ושירות טובים יותר המספקים ערך רב יותר ללקוחותיהם. צור קשר מעל 300 לקוחות מרוצים מגוון 12 תעשיות שונות צוות 50 מומחי נתונים בתחום הנדסה ופיתוח שיתופי פעולה לקוחות ממליצים "Organizations wanting to be data-driven is not a cliche for us. We’ve evolved from being a small to medium sized company and it’s amazing to witness how we can now rely on data, collaborate better and become a data driven company. Especially during covid, which needed collaboration and data really became more essential than ever during this period." Omer Paz, Senior Director Head of Business Applications חברות שסומכות על VISION.BI נשמח תמיד להיפגש בואו נעשה דברים גדולים יחד

Snowflake delivers the Data Cloud – a global network where thousands of organizations mobilize data with near-unlimited scale, concurrency, and performance. Inside the Data Cloud, organizations unite their siloed data, easily discover and securely share governed data, and execute diverse analytic workloads. Your Snowflake Implementation Partners Snowflake delivers the Data Cloud – a global network where thousands of organizations mobilize data with near-unlimited scale, concurrency, and performance. Inside the Data Cloud, organizations unite their siloed data, easily discover and securely share governed data, and execute diverse analytic workloads. Vision.bi is one of the first Elite Service Partners in EMAE within Snowflake’s Partner Network As an Elite Partner, we bring additional technology, industry, and business experience for organizations to get the most value out of Snowflake’s platform. From helping the biggest insurance and financial institutions in Israel, to some of the fastest-growing tech startups, Vision.bi offers Snowflake professional services to help our clients build optimal data processes. Whether you need a kickstart package for snowflake, or would like to discover the endless possibilities within Snowflake’s Data Cloud, our expert teams of data architects and data engineers are here to help you seize the power of Snowflake MEET ARCTICA Introducing Arctica.ai – keeps tabs on your data lake costs, highlights hidden patterns and provides you with insights into your Snowflake usage. Arctica analyze your usage patterns, parse your queries (meta data) and provide new insights on your costs. Write your own custom rules that translate technical entities into business language. Furthermore, you can define thresholds and alerts to make sure everything is running as expected. For More Information VISION.BI, THE PERFECT SNOWFLAKE IMPLEMENTATION PARTNER Vision.bi is the leading Snowflake reseller and an Elite Partner of Snowflake across EMEA. In fact our Co-Founder was awarded the “Snowflake Person of The Year” at the Partner Summit in London. Vision.bi offers a wide range of Snowflake professional services to help organizations modernize their data infrastructure and build optimal data processes in the cloud. Vision.bi’s team of data engineers will help your team beyond snowflake implementation, training your team on Snowflake’s capabilities and helping organizations create the perfect data stack. Seize The Power of Snowflake With Vision.BI Tools & Resources Instant Elasticity Enable any amount of computing power for any number of users to get the performance and actionable insights you desire. Secure Data Sharing Unite your business units and collaborate with your partners via governed and secure data sharing in real time. Per-second Pricing Automatically scale back any amount of horsepower behind your workloads to eliminate the cost of an idle warehouse. Cross-region, Cross-cloud Replicate data across regions and clouds, keep data and apps where they are, operate confidently with failover and business continuity. Used by leading data-driven companies We know best how to maximize Snowflake’s huge potential in your organization Let's Talk