{"id":2439,"date":"2021-05-24T18:56:41","date_gmt":"2021-05-24T18:56:41","guid":{"rendered":"https:\/\/artecha.com\/?p=2439"},"modified":"2022-04-08T10:16:15","modified_gmt":"2022-04-08T10:16:15","slug":"streaming-etl-the-modern-way-of-data-transformation","status":"publish","type":"post","link":"https:\/\/artecha.com\/it\/streaming-etl-the-modern-way-of-data-transformation\/","title":{"rendered":"Streaming ETL: Il nuovo approccio alla trasformazione dei dati"},"content":{"rendered":"
Con il rapido sviluppo delle capacit\u00e0 di elaborazione e delle tecniche di archiviazione, non c’\u00e8 dubbio che stiamo affrontando una serie di opportunit\u00e0 nell’era dei dati. Ci sono alcuni aspetti chiave che dovremmo considerare prima di lavorare sui dati:<\/p>\n I processi Extract-Transform-Load (ETL)<\/strong> vengono utilizzati per estrarre, pulire, trasformare e caricare i Big Data<\/strong> dei dataset per un\u2019integrazione coerente in altro sistema cloud unificato per la business intelligence (BI). Prima di organizzare i dati, il primo passo nell’approccio ETL \u00e8 l’estrazione dei dati grezzi da tutte le fonti rilevanti per l’analisi. Le origini dati possono includere:<\/p>\n Una volta che tutti i dati sono stati raccolti, notiamo che i dati provenienti da diverse fonti sono strutturati in diversi formati. In questa fase, i dati devono essere organizzati in base alla dimensione e all’origine per adattarsi al processo di trasformazione. La complessit\u00e0 di questo passaggio pu\u00f2 variare in modo significativo, a seconda dei tipi di dati, del volume dei dati e della sorgente dati. Sebbene dovremmo considerare diversi fattori, la scalabilit\u00e0 \u00e8 fondamentale.<\/p>\n <\/span><\/p>\n La trasformazione dei dati \u00e8 la seconda fase del processo nell\u2019approccio ETL. I dati devono essere puliti, mappati e trasformati. In effetti, questo \u00e8 il passaggio cruciale in cui il processo ETL modifica i dati in modo tale da poter generare report. La fase di trasformazione prevede l’esecuzione di una serie di funzioni e l’applicazione di serie di regole ai dati estratti per convertirli in un formato standard per soddisfare i requisiti del database di destinazione. Il livello di intervento richiesto nella trasformazione ETL dipende dai dati estratti e dalle esigenze dell’azienda.<\/span><\/p>\n Le sorgenti di dati qualitativamente superiori non richiedono molte trasformazioni, mentre altri set di dati potrebbero richiederlo in modo significativo. Per soddisfare i requisiti tecnici e aziendali del database di destinazione, possiamo adottare diverse tecniche di trasformazione.<\/span><\/p>\n Il processo ETL in un data warehouse include i seguenti passaggi durante la trasformazione dei dati: <\/p>\n La fase conclusiva del processo ETL in tre fasi \u00e8 l’atto di caricare \/ trasmettere in streaming i set di dati che sono stati estratti e trasformati in precedenza per essere gestiti nel database di destinazione. L’SQL \u00e8 lento, ma esegue controlli di qualit\u00e0 dei dati pi\u00f9 rigorosi. Sebbene il caricamento di in \u201cbulk\u201d sia molto pi\u00f9 veloce per caricare enormi quantit\u00e0 di dati, non considera l’integrit\u00e0 dei dati per ogni record. Il caricamento di un\u2019ampia mole di dati \u00e8 l\u2019ideale per i set di dati sicuri che siano privi di errori.<\/p>\n Lo streaming del processo ETL \u00e8 utile per casi d’uso in tempo reale: dashboard, tool dinamici e interattivi che trovano applicazione nell\u2019ambito della customer experience. Fortunatamente, esistono strumenti che semplificano la conversione di lavori in batch periodici in una pipeline di dati in tempo reale.<\/p>\n La trasformazione e il caricamento dei dati possono essere estratti utilizzando una pipeline di dati basata sul flusso per eseguire query SQL e generare report e dashboard. L’applicazione ETL di streaming pu\u00f2 estrarre i dati da qualsiasi origine e pubblicarli direttamente nell’applicazione ETL di streaming oppure la sorgente pu\u00f2 pubblicare i dati direttamente nell’applicazione ETL di streaming ed estrarli da un’altra origine. Apache Kafka \u00e8 uno strumento popolare per l’elaborazione dei dati in tempo reale. Possiamo estrarre i dati con e consentire a ETL di eseguire lo streaming nel cloud in tempo reale, senza la necessit\u00e0 di sistemi complessi che richiedono la codifica. Che si tratti di informazioni sui comportamenti dei clienti, processi interni, supply chain, aziende e organizzazioni in tutti i settori, capiscono che i dati hanno il potenziale per aumentare l’efficienza e generare entrate. Utilizzando il paradigma ETL, le aziende sono in grado di trarre enormi vantaggi dai propri dati, tra cui:<\/p>\n Se sei interessato a sapere cosa facciamo, visita la pagina dei nostri successi: https:\/\/artecha.com\/business-cases\/<\/p>\n","protected":false},"excerpt":{"rendered":" Con il rapido sviluppo delle capacit\u00e0 di elaborazione e delle tecniche di archiviazione, non c’\u00e8 dubbio che stiamo affrontando una serie di opportunit\u00e0 nell’era dei dati. Il nuovo trend basato sui dati non solo diffonde una nuova consapevolezza nel processo decisionale e nel miglioramento della performance aziendale, ma rappresenta anche un punto di rottura con … <\/p>\n
\nIl nuovo trend basato sui dati non solo diffonde una nuova consapevolezza nel processo decisionale e nel miglioramento della performance aziendale, ma rappresenta anche un punto di rottura con le tecniche di elaborazione dati tradizionali.
\nLa crescente complessit\u00e0 della realt\u00e0 richiede soluzioni semplici e flessibili per una contesto altamente competitivo per le aziende. Quindi, il nuovo scenario dipender\u00e0 da come le organizzazioni utilizzano grandi volumi di Big Data per analizzare, organizzare e ristrutturare i propri processi aziendali.<\/p>\nI vantaggi della trasformazione dei dati<\/h3>\n
\n
\nIn quanto fase vitale del processo ETL, la trasformazione dei dati \u00e8 necessaria per trasformare le informazioni in un formato in cui una piattaforma di business intelligence possa interagire con informazioni fruibili.<\/span><\/p>\nL’estrazione<\/h3>\n
\n
\n\u00c8 richiesto un certo livello di coerenza in tutti i dati da raccogliere nel sistema ed elaborare nella fase successiva.La Trasformazione dei Dati<\/h3>\n
\n\u00c8 uno dei concetti ETL importanti in cui si applica un insieme di funzioni ai dati estratti.<\/span><\/p>\n
\nConverti i dati in base ai requisiti aziendali.<\/p>\n\n
La fase di loading o streaming<\/h3>\n
\nCi sono due modi per farlo; la prima \u00e8 una routine di inserimento SQL che prevede l’inserimento manuale di ogni record in ogni riga della tabella del database di destinazione. L’altro approccio di caricamento utilizza un processo riservato al caricamento di una mole di dati.<\/p>\nStreaming ETL<\/h3>\n
\nL’architettura ETL per lo streaming \u00e8 scalabile e gestibile, offrendo un’ampia variet\u00e0 di scenari ETL.<\/p>\nVantaggi della trasformazione dei dati<\/h3>\n
\n