INFORMATIVA BREVE
 
La informiamo che, per migliorare la sua esperienza dinavigazione su questo sito web, Mys srl utilizza diversi tipi di cookie, tra cui. Cookie di tipo funzionale alla navigazione (functionality cookie); Cookie di tipo pubblicitario (advertisng cookie); Cookie di tipo statistico (performance cookie); che consentono di accedere a dati personali raccolti durante la navigazione. Nella pagina della Informativa Estesa che può consultare QUI sono presenti le istruzioni per negare il consenso all’installazione di qualunque cookie. Cliccando su “ACCETTA” o continuando la navigazione, saranno attivati tutti i cookie specificati nell’informativa Estesa ai sensi degli artt. 13 e 14 Re.to UE 2016/679
ACCETTA
Contatti
> > Progetto area riservata COVID per Ulss9

Progetto area riservata COVID per Ulss9

Pubblicato il mercoledì 13 Maggio 2020 nelle categorie Esperienze
L'Azienda Ulss 9 Scaligera

Ulss9 è l'azienda Sanitaria della Regione Veneto che comprende i Comuni e territori della provincia di Verona.

La Scaligera si pone come garante della salute dei propri cittadini erogando le prestazioni in modo appropriato e uniforme.

Mys collabora con la Scaligera da più di 5 anni e utilizza Webquality per la gestione del Portale Aziendale, dei processi relativi all'URP come segnalazioni o richiesta informazioni, e per molti altri progetti.
IL PROGETTO
Mys ha realizzato una piattaforma Web per la distribuzione di informazioni sui cittadini della provincia in quarantena perché positivi o a stretto contatto con persone positive.
Gli utenti che accedono alla piattaforma sono di 4 tipi: personale Ulss, Prefettura, Comuni e Medici di base.
A seconda della tipologia , l’utente visualizza i dati di sua pertinenza: i medici vedono i dati relativi ai loro assistiti, i Comuni i dati relativi ai loro concittadini e la Prefettura visualizza l’elenco completo.
Anche le informazioni relative al singolo assistito sono accessibili a seconda della tipologia di utente.
Inoltre sono stati realizzati dashboard per l’analisi dei dati, filtrati a seconda della tipologia di utente che accede alla piattaforma.

PROCESSO DI IMPORTAZIONE DEI DATI
I dati provengono dalla Regione che prepara quotidianamente un file excel contenente l’elenco delle persone in quarantena, dotato di “data inizio” e “data fine”, dati anagrafici e residenza.
Il file viene inserito in una apposita area, viene prelevato automaticamente dal sistema e processato.
Tutte le importazioni vengono storicizzate ma l’utente non autorizzato alla funzione di amministratore, visualizza solamente l’ultima importazione.

INFRASTRUTTURA TECNOLOGICA.
La piattaforma e la ‘pipeline’ di raccolta ed elaborazione dei dati sono state realizzata sfruttando i servizi AWS.
E’ stata realizzata una ETL (extract, tranform, load) che consente il caricamento dei dati nel database della piattaforma e in strumenti di analisi dati. Una volta inserita l’origine dei dati (file excel proveniente della Regione Veneto), il servizio rileva automaticamente i dati e ne memorizza i metadati (definizione di tabella e schemi).
In questo momento si avvia un processo di ETL che carica i dati sul database della piattaforma ed invia notifiche sullo stato dell’importazione.

S3
E’ stato predisposto un bucket S3 , con accesso ftp nel quale viene inserito il file contente le informazioni sulle quarantene.

LAMBA
Al bucket S3 è stato associato un evento che richiama una funzione Lambda al caricamento di ogni file di tipo .csv . Quindi quando viene caricato un file .csv sul bucket viene richiamata la funzione.
E’ scritta in linguaggio Python e quando viene invocata scatena il processo ETL definito in Aws Glue.

GLUE
Tramite un crawler, i dati vengono prelevati da S3, classificati, puliti e spostati nel database Aurora.
Viene utilizzato il repository di dati centralizzato (Catalogo), utilizzato il motore scritto in Python e il pianificatore che per questo progetto è stato agganciato all’evento Load su S3.
Il Catalogo e le tabelle sono impostate con un classificatore che consente di analizzare il file .csv origine dei dati e una trasformazione avanzata per la definizione di frame dinamico.

RDS AURORA
Le informazioni presenti sul Catalogo Glue sono spostate su una tabella Aurora di transito.
Un trigger elabora la tabella e ne estrae informazioni per aggiornare le altre tabelle del sistema: medici,comuni, assistiti e archivio delle quarantene.

CLOUD WATCH
Il processo ETL di Aws Glue viene monitorato con Aws Cloud Watch: le metriche e gli stati di avanzamento sono gestiti in mdo da inviare una notifica all’amministratore del sistema utilizzando il servizio SNS.

SNS
In AWS – SNS sono definiti due topic : ETL_Success, ETL_failure che inviano ad gruppo di utenti definiti , una notifica sull’esito del processo di ETL.

REDSHIFT – FUSIONCHARTS
In Glue è definito un secondo processo di ETL per popolare in datastore Redshift a partre dai dati di Aurora. Vengono spostate informazioni aggregate relative agli accessi, ai log, e agli assititi in quarantena. Queste informazione costituiscono i set di dati che consentono la definzione di dashboard con grafici interattivi realizzati con librerie Fusioncharts.

EC2
La intranet per la distribuzione delle informazioni è realizzata in linguaggio Adobe Coldfusion e ospitata in una istanza EC2. Il database è Aurora – Postgresql.
tags: Progetti
Condividi questa pagina: