Contatti
> > Progetto area riservata COVID per Ulss9

Progetto area riservata COVID per Ulss9

Pubblicato il mercoledì 13 Maggio 2020 nelle categorie Esperienze
L'Azienda Ulss 9 Scaligera

Ulss9 è l'azienda Sanitaria della Regione Veneto che comprende i Comuni e territori della provincia di Verona.

La Scaligera si pone come garante della salute dei propri cittadini erogando le prestazioni in modo appropriato e uniforme.

Mys collabora con la Scaligera da più di 5 anni e utilizza Webquality per la gestione del Portale Aziendale, dei processi relativi all'URP come segnalazioni o richiesta informazioni, e per molti altri progetti.
IL PROGETTO
Mys ha realizzato una piattaforma Web per la distribuzione di informazioni sui cittadini della provincia in quarantena perché positivi o a stretto contatto con persone positive.
Gli utenti che accedono alla piattaforma sono di 4 tipi: personale Ulss, Prefettura, Comuni e Medici di base.
A seconda della tipologia , l’utente visualizza i dati di sua pertinenza: i medici vedono i dati relativi ai loro assistiti, i Comuni i dati relativi ai loro concittadini e la Prefettura visualizza l’elenco completo.
Anche le informazioni relative al singolo assistito sono accessibili a seconda della tipologia di utente.
Inoltre sono stati realizzati dashboard per l’analisi dei dati, filtrati a seconda della tipologia di utente che accede alla piattaforma.

PROCESSO DI IMPORTAZIONE DEI DATI
I dati provengono dalla Regione che prepara quotidianamente un file excel contenente l’elenco delle persone in quarantena, dotato di “data inizio” e “data fine”, dati anagrafici e residenza.
Il file viene inserito in una apposita area, viene prelevato automaticamente dal sistema e processato.
Tutte le importazioni vengono storicizzate ma l’utente non autorizzato alla funzione di amministratore, visualizza solamente l’ultima importazione.

INFRASTRUTTURA TECNOLOGICA.
La piattaforma e la ‘pipeline’ di raccolta ed elaborazione dei dati sono state realizzata sfruttando i servizi AWS.
E’ stata realizzata una ETL (extract, tranform, load) che consente il caricamento dei dati nel database della piattaforma e in strumenti di analisi dati. Una volta inserita l’origine dei dati (file excel proveniente della Regione Veneto), il servizio rileva automaticamente i dati e ne memorizza i metadati (definizione di tabella e schemi).
In questo momento si avvia un processo di ETL che carica i dati sul database della piattaforma ed invia notifiche sullo stato dell’importazione.

S3
E’ stato predisposto un bucket S3 , con accesso ftp nel quale viene inserito il file contente le informazioni sulle quarantene.

LAMBA
Al bucket S3 è stato associato un evento che richiama una funzione Lambda al caricamento di ogni file di tipo .csv . Quindi quando viene caricato un file .csv sul bucket viene richiamata la funzione.
E’ scritta in linguaggio Python e quando viene invocata scatena il processo ETL definito in Aws Glue.

GLUE
Tramite un crawler, i dati vengono prelevati da S3, classificati, puliti e spostati nel database Aurora.
Viene utilizzato il repository di dati centralizzato (Catalogo), utilizzato il motore scritto in Python e il pianificatore che per questo progetto è stato agganciato all’evento Load su S3.
Il Catalogo e le tabelle sono impostate con un classificatore che consente di analizzare il file .csv origine dei dati e una trasformazione avanzata per la definizione di frame dinamico.

RDS AURORA
Le informazioni presenti sul Catalogo Glue sono spostate su una tabella Aurora di transito.
Un trigger elabora la tabella e ne estrae informazioni per aggiornare le altre tabelle del sistema: medici,comuni, assistiti e archivio delle quarantene.

CLOUD WATCH
Il processo ETL di Aws Glue viene monitorato con Aws Cloud Watch: le metriche e gli stati di avanzamento sono gestiti in mdo da inviare una notifica all’amministratore del sistema utilizzando il servizio SNS.

SNS
In AWS – SNS sono definiti due topic : ETL_Success, ETL_failure che inviano ad gruppo di utenti definiti , una notifica sull’esito del processo di ETL.

REDSHIFT – FUSIONCHARTS
In Glue è definito un secondo processo di ETL per popolare in datastore Redshift a partre dai dati di Aurora. Vengono spostate informazioni aggregate relative agli accessi, ai log, e agli assititi in quarantena. Queste informazione costituiscono i set di dati che consentono la definzione di dashboard con grafici interattivi realizzati con librerie Fusioncharts.

EC2
La intranet per la distribuzione delle informazioni è realizzata in linguaggio Adobe Coldfusion e ospitata in una istanza EC2. Il database è Aurora – Postgresql.
tags: Progetti
Condividi questa pagina:
Tag cloud MyPrenota