Search Results

The Case Sensitivity Challenge in Data Migration Imagine meticulously planning a seamless data warehouse migration, only to find that something as simple as uppercase and lowercase letters can disrupt queries, data transformations, and reports. This isn't just a minor technicality—it’s a fundamental shift in how Snowflake handles text if your origin DWH was defined to be case insensitive. Understanding and addressing this early can make all the difference in ensuring a smooth transition. The Case Sensitivity Conundrum In databases, collation rules are used to dictate how characters will be treated. Some traditional relational databases, such as SQL Server and MySQL, often default to case-insensitive comparisons, meaning 'CUSTOMER' and 'customer' are treated as the same. Snowflake, however, defaults to case-sensitive comparisons, treating them as distinct values. This difference affects a variety  of operations, including (but not limited to): simple comparison, sorting, grouping, join conditions, window functions, scalar / aggregate functions, date clustering and more. Here are some examples: SELECT   *   FROM   customers   WHERE   column1   =   column2 ; ORDER BY  may place lowercase and uppercase versions of the same word in separate positions. In addition, some characters (‘_’, ‘-’, etc..) can be sorted differently. SELECT   *   FROM   products   ORDER   BY   name ; SELECT   category,   COUNT(*)   FROM   inventory   GROUP   BY   category ; SELECT   customer_name,   SUM(sales)   OVER   ( PARTITION   BY   region   ORDER   BY   customer_name )   FROM   sales; SELECT   LEAST(name1,   name2,   name3)   FROM   clients; CREATE   TABLE   customers   CLUSTER   BY   (name) ; For example, consider a table with values ('Apple'), ('apple'), ('APPLE'). In some legacy systems, GROUP BY name  treats them as one group, while in Snowflake, they’re distinct unless explicitly handled. Handling Case Sensitivity in Snowflake Rather than forcing a global collation change, a good approach is adjusting queries and educating consumers to the new system . Here are some techniques: 1. Query-Level Adjustments Using UPPER()  or LOWER()  for uniform comparisons: SELECT   *   FROM   customers   WHERE   UPPER(name)   =   UPPER('John   Doe'); Using ILIKE  for case-insensitive pattern matching: SELECT   *   FROM   products   WHERE   product_code   ILIKE   'abc%'; Optimizing performance by applying case transformation in indexed conditions: SELECT   *   FROM   orders   WHERE   UPPER(status)   =   'COMPLETED'; 2. Using Snowflake’s Collation Options Snowflake provides collation settings at different levels: Account Level:   ALTER   ACCOUNT   SET   DEFAULT_DDL_COLLATION   =   'en-ci'; Table Level:   CREATE   TABLE   customers   (name   STRING   COLLATE   'en-ci'); Column Level (on queries): SELECT   name   COLLATE   'en-ci'   FROM   customers; The Double-Edged Sword of Changing Collation Advantages: Easier migration from case-insensitive databases like SQL Server and MySQL. Fewer query modifications needed. More familiar behavior for consumers accustomed to legacy systems. Disadvantages: Limited inheritance:  CTAS ( CREATE TABLE AS SELECT ) does not always retain collation. Performance concerns:  Case-insensitive comparisons can affect performance. Snowflake’s limitations:  Some operations override collation settings. Inconsistencies:  Mixed-collation environments/objects can become difficult to manage. The Verdict: Embrace the Default After extensive testing, our recommendation is clear: stick with Snowflake’s default case-sensitive behavior . While it may require adjustments, this approach aligns with Snowflake’s architecture and ensures long-term performance and maintainability. If case insensitivity is absolutely required, apply it selectively at the query level , rather than changing account-wide or object settings. This balances flexibility and consistency without introducing unnecessary complexity. Migrating to Snowflake isn’t just about replicating old behavior—it’s an opportunity to adopt modern best practices  and set your data platform up for future success.

פרויקטי מיגרציה של דאטה הם לא רק עניין טכני – הם רגע האמת של מערכות המידע הארגוניות. כשמדובר בארגון גלובלי, עם מיליוני רשומות, מערכות קריטיות, ולקוחות פעילים בכל העולם – כל טעות קטנה עלולה להוביל לנזק תפעולי, תדמיתי ועסקי. כאן בדיוק נכנס לתמונה quilliup  – הפתרון האולטימטיבי לבקרת איכות דאטה בתהליכי מיגרציה מורכבים. על הפרויקט במסגרת פרויקט מיגרציה רחב היקף שביצענו עבור חברת טכנולוגיה גלובלית מובילה בתחום ה ecommerce  (שם שמור במערכת), בוצע מעבר מקצה לקצה מסביבת MSSQL  לפלטפורמת הענן Snowflake . מדובר בתהליך שכלל: המרה של תהליכי SSIS לפלטפורמת Rivery  לטובת Ingestion ועיבוד הנתונים רפליקציה/העתקה של שכבת ה ODS וה DWH לתוך סנופלייק. עבודה מקבילית  של צוותי הפיתוח, לצורך האצה וייעול של מהלכי ההמרה והטעינה. שלב קריטי של בדיקות איכות נתונים , שבוצע באופן אג'ילי תוך כדי חיי הפרויקט ובמיוחד בשלב למה quilliup? עם השלמת ההמרה והרפליקציה, הגיע השלב הרגיש ביותר – שלב הבדיקות. כדי לאמת את אמינות הדאטה, לוודא אפס חריגות, ולזהות פערים – נדרש כלי עוצמתי, חכם, מהיר ואוטומטי.  quilliup  סיפק לנו בדיוק את זה – ואפילו יותר. היתרונות המרכזיים: ✔ השוואת דאטה בין מקורות שונים (MSSQL ו-Snowflake)  ✔ הרצה מקבילית של בדיקות בקנה מידה עצום  ✔ תיעוד מובנה ומאובטח של כל תוצאה – לתחקור עתידי  ✔ אינטגרציה חלקה עם תהליכי CI/CD  ✔ יכולת לזהות פערים מורכבים שלא נראים לעין אנושית סוגי הבדיקות שבוצעו: השוואת סכמות (Schema Validation)  וידוא שהמבנה הסכמטי של הטבלאות נשמר 1:1 – כולל טיפוסים, אינדקסים, אילוצים ועוד. שלמות מפתחות (Data Integrity)  ווידוא שהקשרים הלוגיים בין הטבלאות (Foreign Keys, Primary Keys) לא נשברו. בדיקות אגרגציה (Aggregated Validation)  בדיקה של סכומים, ממוצעים ונתונים מחושבים – כדי לוודא שלא הייתה פגיעה בנתוני אמת. השוואת RAW DATA  בדיקה מדוקדקת של שורות נתונים בודדות – אחד לאחד – כדי לזהות חריגות, הכפלות או חסרים. ממצאים שנמצאו בזכות quilliup: רגישות לאותיות גדולות/קטנות שלא טופלה נכון (Case Sensitivity). מפתחות חסרים בטבלאות משויכות. הבדלים ברמת הדיוק המספרי (Precision Mismatch). כל אחד מהפערים תועד, תוחקר ונסגר באופן מהיר – הודות לאפשרות של quilliup לשמור את כל תוצאות הבדיקות בבסיס נתונים חיצוני, נגיש ומנותח. בשורה התחתונה ב quilliup  יוכלו ארגונים להשלים את המיגרציה ל-Snowflake בביטחון מלא  – בלי לוותר על אמינות, עקביות ואיכות הדאטה. השילוב בין בדיקות אוטומטיות, דיווח מובנה, וזיהוי פערים בזמן אמת – הפך את התהליך למהיר, שקוף ואפקטיבי במיוחד.

בעולם מדעי החיים, שבו ניתוח נתונים הוא מפתח להאצת מחקר ופיתוח, שמירה על פרטיות המטופלים היא ערך עליון. ככל שארגונים משתפים יותר מידע כדי להגיע לתובנות משותפות, כך גובר הצורך בטכנולוגיות שמאפשרות שיתוף מבוקר ובטוח של נתונים רגישים – מבלי לפגוע בציות לרגולציות או בביטחון המידע. חברת Snowflake מציעה פתרון מתקדם וחדשני: Data Clean Rooms – חדרי נתונים נקיים. מדובר בסביבות שיתופיות מאובטחות שמאפשרות ניתוח משותף של מידע בין ארגונים, ללא חשיפת פרטים מזהים וללא צורך בשכפול הנתונים. מהו חדר נתונים נקי? חדר נתונים נקי הוא אזור עבודה וירטואלי שבו גופים כמו חברות תרופות, מוסדות מחקר ובתי חולים יכולים להריץ שאילתות אנליטיות על מידע משותף, תוך שמירה מלאה על פרטיות. המידע נשאר בכל אחד מהארגונים, אך ניתן להפיק ממנו תובנות משותפות באמצעות: אנונימיזציה בזמן אמת (On-query anonymization) טוקניזציה של מזהים רגישים מדיניות הרשאות מוגדרת מראש יתרונות לחברות בתחום מדעי החיים אסטרטגיות אנונימיזציה מתקדמות חדרי הנתונים מאפשרים למסך/להצפין מידע בזמן אמת, מבלי להעתיק או לעבד אותו ידנית מראש. כך ניתן לשמור על פרטיות, למנוע זיהוי חוזר, ולהפחית את התלות באנונימיזציה ידנית שהייתה נהוגה בעבר. ניתוחים גלובליים ברמת הארגון באמצעות סביבה מאובטחת, ניתן לשתף מידע בין צוותים ואפילו בין ארגונים שונים, מבלי להעביר קבצים או לשכפל תתי-מאגרים. זה מזרז תובנות – בלי לפגוע בהנחיות הרגולציה או בהגבלות גיאוגרפיות. חיסכון באמצעות מניעת כפילויות באמצעות ניתוח חפיפות בין מאגרי מידע, ניתן למנוע רכישת נתונים חופפים מספקים שונים, ולהרחיב את מדגם המטופלים הייחודי בצורה חסכונית. הרחבת קבוצות מטופלים באמצעות טוקניזציה ניתן לשלב מידע ממקורות שונים – EHR, תביעות ביטוח, תמותה ודיווחים עצמיים – גם כשאין מזהה משותף, ולבנות קבוצות מחקר עשירות ומעמיקות תוך שמירה על פרטיות מלאה. ניתוחי משנה: ערוץ חדש לתובנות רפואיות חדרי נתונים נקיים תומכים גם בביצוע ניתוחי משנה (Secondary Analysis) – פעילות שצוברת תאוצה בקרב חברות פארמה, במיוחד לאור המעבר לרפואה מותאמת אישית וממוקדת-מטופל. מה זה ניתוח משנה? מדובר בשימוש חוזר בנתונים קיימים – לדוגמה נתוני ניסויים קליניים, תביעות ביטוח או נתוני עולם אמיתי – כדי להפיק תובנות נוספות, מעבר לשאלות המחקר המקוריות. כיום, נתונים שמגיעים מהמטופלים עצמם (PGHD) מהווים מקור יקר ערך להבנת דפוסי טיפול ומחלה. שימושים עיקריים של ניתוחי משנה בשרשרת הערך הפארמצבטית מיקוד מטופלים מדויק שימוש באנליטיקה חזויה לזיהוי תתי-אוכלוסיות מתאימות לטיפולים ממוקדים – מה שמוביל לשיפור בתכנון ניסויים קליניים ובגיוס מטופלים איכותיים. התאמה מחדש של תרופות והתרחבות לשווקים חדשים באמצעות שילוב נתונים קליניים עם מידע גנומי ואחר, ניתן לזהות התוויות חדשות לתרופות קיימות – ולפתוח שווקים חדשים תוך חסכון משמעותי בעלויות פיתוח. מחקרי דבקות ויעילות טיפולית נתונים משניים משמשים להשוואה בין תרופות שונות ולמדידת היענות מטופלים לטיפול – לרוב בהתבסס על נתוני תביעות בריאות. תמחור ואסטרטגיות החזר שימוש בנתוני עולם אמיתי (RWD) לצורך מחקרים כלכליים-רפואיים (HEOR) מדגים את הערך הקליני בפועל של טיפולים תרופתיים, ותומך בהחלטות תמחור והחזר מול גופים רגולטוריים. סיכום חדרי הנתונים הנקיים של Snowflake מביאים עידן חדש של שיתוף פעולה בטוח, ניתוח מידע רחב היקף, ותובנות קליניות מעשיות – תוך שמירה על פרטיות, רגולציה, ואבטחה מלאה. הם מאפשרים לארגוני פארמה, מחקר ובריאות לממש את מלוא הפוטנציאל של הנתונים שברשותם, ולהוביל את הדור הבא של חדשנות רפואית. 🔗 למאמר המלא באתר Snowflake:   https://www.snowflake.com/en/blog/data-privacy-life-sciences-clean-rooms

When revenue recognition relies on one source and payout relies on another, financial departments are forced to invest a lot of effort in making sure all their data matches. For example, B2C companies that process millions of transactions per month need several financial controllers to constantly monitor company financial data. The challenge becomes even greater when dealing with different types of currencies, transactions, and payment platforms. Finance Reconciliation Get control over your billing, transactions, and payments THE BUSINESS CHALLENGE THE BUSINESS CHALLENGE When revenue recognition relies on one source and payout relies on another, financial departments are forced to invest a lot of effort in making sure all their data matches. For example, B2C companies that process millions of transactions per month need several financial controllers to constantly monitor company financial data. The challenge becomes even greater when dealing with different types of currencies, transactions, and payment platforms. Finance Reconciliation Dashboard The key to finance reconciliation is consistency and accuracy when handling financial data. To address this, we have developed a solution that not only helps process your financial data but also lets you see it in a way that allows you to quickly identify any mismatches or discrepancies that have occurred. The Finance Reconciliation dashboard presents reconciled and unreconciled amounts clearly and in great detail when comparing bank statements, payment service transactions, and billing system transactions. The dashboard allows users to drill into the specifics of each component they’re viewing, making it easy to identify outstanding problems and to develop a strategy to fix them. Want to learn more? Contact Us SUCCESS STORIES

The quilliup platform is designed to help companies run ongoing tests across all their data sources, giving data teams the peace of mind they need – knowing their business data is always accurate and ready for insights. quilliup The quilliup platform is designed to help companies run ongoing tests across all their data sources, giving data teams the peace of mind they need – knowing their business data is always accurate and ready for insights. DATA VALIDATION quilliup data testing enables companies to generate tailored tests which can be designed to automatically run across multiple data sets within any environment – making it easy to maintain a smooth data operation. DATA COMPLETION quilliup gives data teams the tools to create and automate ongoing tests to compare and validate data, which are crucial during the ETL and data migration processes. When quilliup detects a data issue or discrepancy, you’ll get notified – making it easy to find and address issues right away. In addition, our issue management console gives a comprehensive view across all data issues, assign ownership, and manage their status and priority level to ensure they are resolved on time. Improve governance across all your data sources Optimal Data Quality Ensure all your business data is accurate, as soon as it’s uploaded to your database or dashboards, and every time is updated. the insights you see and share are always accurate and verified. Stay in Control By automating your data testing processes, you’ll be alerted of any discrepancies, giving your team the opportunity to fix any problems before the data is used. Better Business Insights Share business insights with confidence and avoid costly or embarrassing mistakes resulting from bad data. Used by leading data-driven companies Use Your Business Data With Confidence Let's Talk

Operational system use within a business is extensive and varied, with each system responding to its own requirements and specializing in a particular field. Companies today tend rely on different systems for each particular business need they have. Common business practices that rely upon specialized systems include: Customer Relationship Management (Sales Force), Customer Service and Support (Zendesk), Billing (Zuora) etc. Internal and External Data Operational system use within a business is extensive and varied, with each system responding to its own requirements and specializing in a particular field. Companies today tend rely on different systems for each particular business need they have. Common business practices that rely upon specialized systems include: Customer Relationship Management (Sales Force), Customer Service and Support (Zendesk), Billing (Zuora) etc. Aside from internal company data, there is a lot of external data that exists outside of the company that can be valuable if used correctly. This data includes social network data, weather, public events, demographics, and more, all of which can be used to help shape the next product launch or marketing campaign. Internal Data Data Lake Data Warehouse Entity Profile Reports & Dashboards THE CHALLENGE Interpreting data from operating systems is not straightforward, it requires familiarity with the systems and with how to connect them. To add to the complexity, the stored data is not always readable or easy to retrieve and the systems work independently from each other. After successful data extraction, it’s important make sure everything is in sync since data is flowing in from multiple sources (including external sources). Most of these external systems are cloud based and have their own unique APIs. Integrating these external systems and their data with internal company data while displaying everything in one uniform and insightful way is not easy. WHY US ? Vision.bi has vast experience with integrating operational systems. We are familiar with over 40 APIs and when we encounter new systems we are quick to adjust. To help ensure quick and reliable data integration we have developed a product called Rivery that gathers useful external data and even loads it into cloud databases. Leverage our experience to save valuable time in trying to understanding a specific API, integration development, or data processing. Want to learn more? Contact Us