Załącznik

Mechanizmy automatycznej kontroli jakości danych w odniesieniu do wprowadzanych danych

Dane wprowadzane do systemów informacyjnych UE i elementów interoperacyjności będą podlegały mechanizmom automatycznej kontroli jakości danych opartym na regułach blokujących i regułach miękkich określonych w art. 2. Są to reguły ustanowione w systemach informacyjnych UE i elementach interoperacyjności, decydujące o tym, czy wprowadzanie i przechowywanie danych wejściowych będzie dozwolone czy też zostanie odrzucone. Reguły blokujące i reguły miękkie ustanawia się w oparciu o następujące parametry: długość, format, rodzaj, zgodność z normami jakości, semantyka, powtórzenia i składnia.

SEKCJA 2

Uwagi ogólne dotyczące wspólnych wskaźników jakości danych i minimalnych norm jakości wprowadzanych danych

Dane wejściowe podlegające procesowi weryfikacji jakości ocenia się pod kątem reguł dotyczących jakości danych zdefiniowanych w poszczególnych systemach informacyjnych UE i elementach interoperacyjności, jak określono w sekcji 1. Jeżeli reguły mające zastosowanie do danych wejściowych nie uniemożliwiają wprowadzania i przechowywania danych, mechanizmy kontroli jakości danych mierzą jakość danych wejściowych za pomocą wskaźników jakości danych, które mają do nich zastosowanie.

Mechanizmy kontroli jakości danych mierzą jakość danych wejściowych zgodnie z każdym odpowiednim wskaźnikiem. Mechanizmy kontroli jakości danych uwzględniają współczynnik ważenia do obliczenia względnej wagi każdego wskaźnika w odniesieniu do ogólnej jakości danych wejściowych.

W tym celu mechanizmy kontroli jakości danych dostosowuje się tak, by miały zastosowanie do pojedynczego zbioru danych w ramach danego rekordu lub do bazy danych.

Po zastosowaniu do danych wejściowych współczynnika ważenia mechanizmy kontroli jakości danych tworzą profil danych wejściowych zawierający wyniki zastosowania norm wskaźników, na przykład wartości liczbowe oceniające jakość danych wejściowych w ramach każdego wskaźnika.

W tabeli 1 wymieniono minimalny zestaw wskaźników jakości danych, na przykład wskaźniki, które zawsze mają zastosowanie do danych wejściowych, zgodnie z regułami stosowanymi przez każdy system informacyjny UE i element interoperacyjności. Wskaźniki takie są następujące: kompletność, dokładność, spójność, aktualność, niepowtarzalność.

Tabela 1

Wykaz minimalnych wskaźników jakości danych

Wskaźnik

Opis

Główny zakres zastosowania

Jednostka miary

Kompletność

Stopień, w jakim dane wejściowe mają wartości dla wszystkich oczekiwanych atrybutów i związanych z nimi wymogów w określonym kontekście ich wykorzystania. Pomiar, czy wszystkie obowiązkowe dane zostały dostarczone, a wykazy dotyczące baz danych (lub wykazy sektorowe) odpowiadają ustalonym wymaganiom.

Obowiązkowe pola danych (alfanumeryczne i biometryczne)

Wskaźnik kompletności danych: stosunek liczby dostarczonych komórek danych do liczby wymaganych komórek danych

Dokładność

Stopień, w jakim w przypadku danych wejściowych wartości szacunkowe pokrywają się z nieznanymi wartościami rzeczywistymi. Może to być dokładność danych dotyczących jednej jednostki, dokładność między podobnymi danymi w odniesieniu do porównywalnych jednostek lub dokładność w odniesieniu do obu tych przypadków.

Dane alfanumeryczne i biometryczne

Poziomy błędu próby, wskaźnik całkowitego braku odpowiedzi, wskaźnik częściowego braku odpowiedzi, poziomy błędu przy pozyskiwaniu danych itp.

Spójność

Stopień, w jakim dane wejściowe mają atrybuty, które nie wykazują sprzeczności i są spójne z innymi danymi w określonym kontekście ich wykorzystania. Pomiar stopnia, w jakim zbiór danych jest zgodny ze zdefiniowanymi regułami ustawień mającymi zastosowanie do tych danych (tj. brak sprzeczności treści danych). Może to być spójność danych dotyczących jednej jednostki, spójność między podobnymi danymi w odniesieniu do porównywalnych jednostek lub spójność w odniesieniu do obu tych przypadków.

Dane alfanumeryczne

Odsetek

Aktualność

Stopień, w jakim dane wejściowe są dostarczane przed upływem wyznaczonej wcześniej daty lub w wyznaczonym terminie, co warunkuje ważność danych lub kontekst ich wykorzystania. Pomiar, na ile aktualne są dane oraz czy wymagane dane mogą być dostarczone w określonym terminie.

Dane alfanumeryczne i biometryczne

Opóźnienie w czasie („Time lag - final”): liczba dni od ostatniego dnia odniesienia do dnia dostarczenia danych wejściowych

Niepowtarzalność

Stopień, w jakim dane wejściowe nie są powielane w tym samym systemie informacyjnym UE lub elemencie interoperacyjności.

Obowiązkowe pola danych (alfanumeryczne i biometryczne)

Procent jednostek danych, które nie są powielone

Wskaźnik dokładności danych biometrycznych obejmuje również rozdzielczość. Rozdzielczość oznacza stopień, w jakim dane wejściowe zawierają wymaganą liczbę punktów lub pikseli na jednostkę długości. Jednostka wyświetlania pikseli na ekranie: jednostka pi dla drukowania; dot pi dla systemów wydawania. Jeden lub więcej bitów na piksel (paleta kolorów np.: 16 kolorów 4b, 256 8b, 16b 65 tys., 24b 16,5 mln)

SEKCJA 3

Klasyfikacja jakości danych

Po opracowaniu profilu danych wejściowych, o którym mowa w sekcji 2, danym wejściowym przypisuje się klasyfikację jakości danych. Stosuje się następujące klasyfikacje jakości danych:

a) „dobra jakość” oznacza profil danych wejściowych wykazujący wymaganą zgodność z mającym zastosowanie wskaźnikiem jakości danych;

b) „niska jakość” oznacza profil danych wejściowych niewykazujący wymaganej zgodności z mającymi zastosowanie wskaźnikami jakości danych w przypadku reguły miękkiej;

c) „odrzucone” oznacza profil danych wejściowych niewykazujący wymaganej zgodności z mającymi zastosowanie wskaźnikami jakości danych w przypadku reguły blokującej.

W przypadku gdy danym wejściowym przypisano klasyfikację „dobra jakość”, dane są przechowywane w systemie lub elemencie bez żadnego ostrzeżenia dotyczącego jakości danych.

W przypadku gdy danym wejściowym przypisano klasyfikację „niska jakość”, dane są przechowywane w systemie lub elemencie wraz z ostrzeżeniem dotyczącym jakości danych. Ostrzeżenie wskazuje, że dane wejściowe podlegają skorygowaniu, oraz podaje powód, dla którego dane wejściowe nie wykazują wymaganej zgodności z mającymi zastosowanie wskaźnikami jakości danych. O ile to możliwe, ostrzeżenie określa pole (pola) danych lub treść danych lub oba te elementy, w których występuje problem z jakością danych, oraz sugeruje zmiany niezbędne do tego, by dane wejściowe spełniały kryteria klasyfikacji „dobra jakość”.

SEKCJA 4

Monitorowanie jakości danych

Dla celów art. 3 ust. 8 stosuje się dwa rodzaje mechanizmów:

a) Mechanizmy oczyszczania danych. Takie mechanizmy przeprowadzają kontrole w celu identyfikacji danych, w przypadku których pozostały okres przechowywania jest krótszy niż czas określony w przepisach mających zastosowanie do danego systemu informacyjnego UE lub elementu interoperacyjności. Mechanizmy oczyszczania danych powiadamiają dane państwo członkowskie o planowanym usunięciu danych i umożliwiają mu przyjęcie w razie potrzeby odpowiednich środków.

b) Mechanizmy wykrywania problemów. Takie mechanizmy przeprowadzają kontrole w celu zidentyfikowania danych, które nie spełniają już jednej lub więcej reguł dotyczących jakości danych lub norm jakości danych związanych ze wskaźnikami jakości danych. Takie kontrole mogą generować ostrzeżenie lub powiadomienie do właściwego organu państwa członkowskiego, wskazujące powód, dla którego dane przestały spełniać jedną lub więcej reguł dotyczących jakości danych lub norm jakości danych. O ile to możliwe, ostrzeżenie sugeruje zmiany niezbędne do tego, by dane wejściowe spełniały nowe reguły lub normy. W żadnym wypadku stosowanie takich kontroli nie może prowadzić do automatycznego usunięcia danych przechowywanych w systemach informacyjnych UE lub elementach interoperacyjności. W przypadku wprowadzania nowych danych do systemu informacyjnego UE lub elementu interoperacyjności w czasie, gdy mechanizmy wykrywania problemów są uruchomione, mechanizmy wykrywania problemów nie mają zastosowania do tych danych.

eu-LISA może zdecydować o zastosowaniu w odniesieniu do systemu informacyjnego UE i elementów interoperacyjności kontroli ad hoc przez mechanizmy wykrywania problemów po dokonaniu przeglądu reguł dotyczących jakości danych lub norm jakości danych.

eu-LISA może skonsultować się z grupą doradczą właściwą dla jednego z systemów informacyjnych UE lub elementów interoperacyjności w kwestii tego, czy w danym systemie informacyjnym UE lub elemencie interoperacyjności zastosować kontrole ad hoc przez mechanizmy wykrywania problemów w zakresie niezbędnym do celów danego systemu informacyjnego UE lub elementu interoperacyjności.