Utilisation

Le mécanisme d'userfaultfd est conçu pour permettre à un thread dans un programme multi-thread de réaliser la pagination en espace utilisateur pour d'autres threads dans le processus. Lorsqu'un erreur de page survient pour une des régions enregistrées dans l'objet userfaultfd, le thread en erreur est mis en sommeil et un événement est généré qui peut être lu au moyen du descripteur de fichier userfaultfd. Le thread de gestion d'erreur lit les événements à partir de ce descripteur de fichier et les corrige en utilisant les opérations décrites dans ioctl_userfaultfd(2). Lors de l'intervention sur les événements d'erreur de page, le thread de gestion d'erreur peut déclencher le réveil d'un thread endormi.

Il est possible que les threads en erreur et les threads traitant les erreurs soient exécutés dans le contexte de processus différents. Dans ce cas, ces threads peuvent appartenir à différents programmes, et le programme qui exécute les threads en erreur ne collaborera pas nécessairement avec le programme qui gère les erreurs de page. Dans ce mode non coopératif, le processus qui contrôle userfaultfd et gère les erreurs de page a besoin d'avoir connaissance des modifications dans la disposition de la mémoire virtuelle du processus en erreur pour éviter une corruption de mémoire.'

Depuis Linux 4.11, userfaultfd peut aussi informer les threads gérant les erreurs des modifications dans la disposition de la mémoire virtuelle du processus en erreur. De plus, si le processus en erreur invoque fork(2), les objets userfaultfd associés au parent peuvent être dupliqués dans le processus enfant et le contrôleur d'userfaultfd sera informé (au moyen de UFFD_EVENT_FORK décrit plus bas) sur le descripteur de fichier associé aux objets userfault créés pour le processus enfant, ce qui permet au contrôleur d'userfaultfd de réaliser la pagination de l'espace utilisateur pour le processus enfant. À la différence des erreurs de page qui doivent être synchrones et réclament un réveil explicite ou explicite, tous les autres événements sont envoyés de façon asynchrone et le processus non coopératif reprend son exécution dès que le gestionnaire d'userfaultfd exécute read(2). Le gestionnaire d'userfaultfd doit soigneusement synchroniser les appels à UFFDIO_COPY avec le traitement des événements.

Le modèle asynchrone actuel d'envoi d'événement est optimal pour des implémentations de gestionnaire userfaultfd non coopératif à thread unique.

Depuis Linux 5.7, userfaultfd peut effectuer le suivi synchrone de page sale en utilisant le nouveau mode d'enregistrement de page protégée en écriture. Il faut vérifier le bit de fonction UFFD_FEATURE_PAGEFAULT_FLAG_WP avant d'utiliser cette fonctionnalité. Le mode protection en écriture, similaire au mode d'origine page manquante d'userfaultfd, génère une notification d'userfaultfd quand la page protégée en écriture est écrite. L'utilisateur doit résoudre l'erreur de page en déprotégeant la page fautive et en forçant le thread fautif à continuer. Pour plus d'informations, consultez la section « Mode protection d'écriture d'userfaultfd »

Fonctionnement d'userfaultfd

After the userfaultfd object is created with userfaultfd(), the application must enable it using the UFFDIO_API ioctl(2) operation. This operation allows a two-step handshake between the kernel and user space to determine what API version and features the kernel supports, and then to enable those features user space wants. This operation must be performed before any of the other ioctl(2) operations described below (or those operations fail with the EINVAL error).

After a successful UFFDIO_API operation, the application then registers memory address ranges using the UFFDIO_REGISTER ioctl(2) operation. After successful completion of a UFFDIO_REGISTER operation, a page fault occurring in the requested memory range, and satisfying the mode defined at the registration time, will be forwarded by the kernel to the user-space application. The application can then use various (e.g., UFFDIO_COPY, UFFDIO_ZEROPAGE, or UFFDIO_CONTINUE) ioctl(2) operations to resolve the page fault.

Depuis Linux 4.4, si l'application définit le bit de la fonction UFFD_FEATURE_SIGBUS en utilisant l'ioctl(2) UFFDIO_API, aucune notification d'erreur d page ne sera transmise à l'espace utilisateur. Un signal est envoyé à la place au processus en erreur. Avec cette fonction, userfaultfd peut être utilisé à des fins de robustesse pour capturer simplement tout accès aux zones dans l'intervalle d'adresses enregistré qui n'ont pas de pages allouées sans avoir à écouter les événements d'userfaultfd. Aucun contrôleur d'userfaultfd ne sera requis pour traiter ce type d'accès mémoire. Par exemple, cette fonction peut être utile à des applications qui désirent empêcher le noyau d'allouer des pages automatiquement et de remplir des trous dans des fichiers creux quand c'est un mappage mémoire qui permet l'accès aux trous.

La fonction UFFD_FEATURE_SIGBUS est héritée de façon implicite avec fork(2) si elle est utilisée en combinaison avec UFFD_FEATURE_FORK.

Des détails sur les différentes opérations d'ioctl(2) sont disponibles dans ioctl_userfaultfd(2).

Depuis Linux 4.11, les événements autres que les erreurs de page peuvent être activés pendant l'opération UFFDIO_API.

Jusqu'à Linux 4.11, userfaultfd ne peut être utilisé qu'avec des mappages de mémoire privée anonyme. Depuis Linux 4.11, userfaultfd peut aussi être utilisé avec des mappages de mémoire hugelbfs et partagée.

Mode protection d'écriture d'userfaultfd (depuis Linux 5.7)

Depuis Linux 5.7, userfaultfd prend en charge le mode protection d'écriture pour la mémoire anonyme. L'utilisateur doit d'abord vérifier la disponibilité de cette fonctionnalité en utilisant l'ioctl UFFDIO_API sur le bit de fonction UFFD_FEATURE_PAGEFAULT_FLAG_WP avant d'utiliser cette fonctionnalité.

Depuis Linux 5.19, le mode protection d'écriture est aussi pris en charge sur la mémoire de type shmem ou hugetlbfs. Il peut être détecté avec le bit de fonction UFFD_FEATURE_WP_HUGETLBFS_SHMEM.

Pour enregistrer avec le mode page protégée en écriture de userfaultfd, l'utilisateur doit initier l'ioctl UFFDIO_REGISTER avec le mode UFFDIO_REGISTER_MODE_WP défini. Notez qu'il est permis de surveiller le même intervalle de mémoire avec plusieurs modes. Par exemple, un utilisateur peut effectuer UFFDIO_REGISTER avec le mode défini à UFFDIO_REGISTER_MODE_MISSING | UFFDIO_REGISTER_MODE_WP. Quand seul le mode UFFDIO_REGISTER_MODE_WP est enregistré, l'espace utilisateur ne recevra aucune notification quand une page manquante est écrite. À la place, l'espace utilisateur ne recevra une notification d'erreur de page protégée en écriture que quand une page existante et protégée en écriture est écrite.

Après que l'ioctl UFFDIO_REGISTER s'est terminé avec le mode UFFDIO_REGISTER_MODE_WP défini, l'utilisateur peut protéger en écriture toute mémoire dans l'intervalle en utilisant l'ioctl UFFDIO_WRITEPROTECT où uffdio_writeprotect.mode devrait être défini à UFFDIO_WRITEPROTECT_MODE_WP.

Quand un événement de protection en écriture survient, l'espace utilisateur recevra une notification d'erreur de page dont l'uffd_msg.pagefault.flags aura l'attribut UFFD_PAGEFAULT_FLAG_WP défini. Notez : dans la mesure où seulement les écritures peuvent déclencher ce genre d'erreur, les notifications de protection en écriture auront toujours le bit UFFD_PAGEFAULT_FLAG_WRITE défini en même temps que le bit UFFD_PAGEFAULT_FLAG_WP.

Pour résoudre une erreur de page de protection d'écriture, l'utilisateur doit initier un autre ioctl UFFDIO_WRITEPROTECT dont l'uffd_msg.pagefault.flags doit avoir l'attribut UFFDIO_WRITEPROTECT_MODE_WP effacé après la page ou l'intervalle fautif.

Mode erreur mineure d'userfaultfd (depuis Linux 5.13)

Depuis Linux 5.13, userfaultfd prend en charge le mode erreur mineure. Dans ce mode, les messages d’erreur ne sont pas produits pour des erreurs majeures (où les pages étaient absentes), mais plutôt pour des erreurs mineures où une page existe dans le cache de page, mais où les entrées de la table de pages ne sont pas encore présentes. L'utilisateur doit d'abord vérifier la disponibilité de cette fonctionnalité en utilisant l'ioctl UFFDIO_API avec les bits de fonction appropriés avant d'utiliser cette fonctionnalité : UFFD_FEATURE_MINOR_HUGETLBFS depuis Linux 5.13 ou UFFD_FEATURE_MINOR_SHMEM depuis Linux 5.14.

Pour enregistrer avec le mode erreur mineure d'userfaultfd, l'utilisateur doit initier l'ioctl UFFDIO_REGISTER avec le mode UFFD_REGISTER_MODE_MINOR défini.

Quand une erreur mineure survient, l'espace utilisateur recevra une notification d'erreur de page dont l'uffd_msg.pagefault.flags aura l'attribut UFFD_PAGEFAULT_FLAG_MINOR défini.

Pour résoudre une erreur de page mineure, le gestionnaire doit décider si le contenu de la page existante doit être modifiée d'abord, ou non. Si c'est le cas, cela doit être fait à son emplacement au moyen d'un second mappage non enregistré par userfaultfd vers la même page de sauvegarde (par exemple en mappant deux fois le fichier shmem ou hugetlbfs). Une fois que la page est considérée « à jour », l'erreur peut être résolue en initiant un ioctl UFFDIO_CONTINUE qui installe les entrées de la table de pages et (par défaut) réveille le ou les threads en erreur.

Le mode erreur mineure ne prend en charge que la mémoire s'appuyant sur hugetlbfs (depuis Linux 5.13) et sur shmem (depuis Linux 5.14).

Lire à partir de la structure userfaultfd

Chaque read(2) à partir du descripteur de fichier userfaultfd renvoie une ou plusieurs structures uffd_msg, chacune d'elles décrit un événement d'erreur de page ou un événement requis pour l'utilisation non coopérative d'userfaultfd :

struct uffd_msg {
    __u8  event;            /* Type d'événement */
    ...
    union {
        struct {
            __u64 flags;    /* Attributs décrivant l'erreur */
            __u64 address;  /* Adresse fautive */
            union {
                __u32 ptid; /* ID du thread de l'erreur */
            } feat;
        } pagefault;
        struct {            /* Depuis Linux 4.11 */
            __u32 ufd;      /* Descripteur de ficher d'userfault
                               du processus enfant */
        } fork;
        struct {            /* Depuis Linux 4.11 */
            __u64 from;     /* Ancienne adresse de la zone remappée */
            __u64 to;       /* Nouvelle adresse de la zone remappée */
            __u64 len;      /* Taille originale du mappage */
        } remap;
        struct {            /* Depuis Linux 4.11 */
            __u64 start;    /* Adresse de début de la zone supprimée */
            __u64 end;      /* Adresse de fin de la zone supprimée */
        } remove;
        ...
    } arg;
    /* Remplissage des champs omis */
} __packed;

Si plusieurs événements sont disponibles et si le tampon fourni est suffisamment grand, read(2) renvoie autant d'événements qu'il en tient dans le tampon fourni. Si le tampon fourni à read(2) est plus petit que la taille de la structure uffd_msg, read(2) échoue avec l'erreur EINVAL.

Les champs définis dans la structure uffd_msg sont les suivants :

event

Le type d'événement. Selon le type d'événement, différents champs de l'union arg représentent les détails nécessaires au traitement de l'événement. Les événements qui ne sont pas des erreurs de page ne sont générés que quand la fonctionnalité appropriée est activée durant la connexion de l'API à l'ioctl(2) UFFDIO_API.

Les valeurs suivantes peuvent apparaître dans le champ event :

pagefault.address

L'adresse qui a déclenché l'erreur de page.

pagefault.flags

Un masque de bits qui décrit l'événement. Pour UFFD_EVENT_PAGEFAULT, les attributs suivants peuvent apparaître :

pagefault.feat.pid

L'identifiant du thread qui a déclenché l'erreur de page.

fork.ufd

Le descripteur de fichier associé à l'objet userfault créé pour l'enfant créé par fork(2).

remap.from

L'adresse d'origine de la plage de mémoire dont le mappage a été modifié en utilisant madvise(2).

remap.to

La nouvelle adresse de la plage de mémoire dont le mappage a été modifié en utilisant madvise(2).

remap.len

La taille d'origine de la plage de mémoire dont le mappage a été modifié en utilisant madvise(2).

remove.start

L'adresse de début de la plage de mémoire qui a été libérée en utilisant madvise(2) ou dont le mappage a été supprimé.

remove.end

L'adresse terminale de la plage de mémoire qui a été libérée en utilisant madvise(2) ou dont le mappage a été supprimé.

read(2) sur un descripteur de fichier userfaultfd peut échouer pour les raisons suivantes :

EINVAL

L'objet userfaultfd n'a pas encore été activé avec l'opération d'ioctl(2) UFFDIO_API.

Si l'attribut O_NONBLOCK est activé dans la description de fichier ouvert associée, le descripteur de fichier userfaultfd peut être surveillé avec poll(2), select(2) et epoll(7). Quand les événements sont disponibles, le descripteur de fichier l'indique comme lisible. Si l'attribut O_NONBLOCK n'est pas activé, alors poll(2) indique (toujours) que le fichier comme ayant une condition POLLERR et select(2) indique que le descripteur de fichier est à la fois accessible en lecture et en écriture.

Source du programme

/* userfaultfd_demo.c
   Licensed under the GNU General Public License version 2 or later.
*/
#define _GNU_SOURCE
#include <err.h>
#include <errno.h>
#include <fcntl.h>
#include <inttypes.h>
#include <linux/userfaultfd.h>
#include <poll.h>
#include <pthread.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/ioctl.h>
#include <sys/mman.h>
#include <sys/syscall.h>
#include <unistd.h>
static int page_size;
static void *
fault_handler_thread(void *arg)
{
    int                 nready;
    long                uffd;   /* userfaultfd file descriptor */
    ssize_t             nread;
    struct pollfd       pollfd;
    struct uffdio_copy  uffdio_copy;
    static int      fault_cnt = 0; /* Number of faults so far handled */
    static char     *page = NULL;
    static struct uffd_msg  msg;  /* Data read from userfaultfd */
    uffd = (long) arg;
    /* Create a page that will be copied into the faulting region. */
    if (page == NULL) {
        page = mmap(NULL, page_size, PROT_READ | PROT_WRITE,
                    MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
        if (page == MAP_FAILED)
            err(EXIT_FAILURE, "mmap");
    }
    /* Loop, handling incoming events on the userfaultfd
       file descriptor. */
    for (;;) {
        /* See what poll() tells us about the userfaultfd. */
        pollfd.fd = uffd;
        pollfd.events = POLLIN;
        nready = poll(&pollfd, 1, -1);
        if (nready == -1)
            err(EXIT_FAILURE, "poll");
        printf("\nfault_handler_thread():\n");
        printf("    poll() returns: nready = %d; "
               "POLLIN = %d; POLLERR = %d\n", nready,
               (pollfd.revents & POLLIN) != 0,
               (pollfd.revents & POLLERR) != 0);
        /* Read an event from the userfaultfd. */
        nread = read(uffd, &msg, sizeof(msg));
        if (nread == 0) {
            printf("EOF on userfaultfd!\n");
            exit(EXIT_FAILURE);
        }
        if (nread == -1)
            err(EXIT_FAILURE, "read");
        /* We expect only one kind of event; verify that assumption. */
        if (msg.event != UFFD_EVENT_PAGEFAULT) {
            fprintf(stderr, "Unexpected event on userfaultfd\n");
            exit(EXIT_FAILURE);
        }
        /* Display info about the page-fault event. */
        printf("    UFFD_EVENT_PAGEFAULT event: ");
        printf("flags = %"PRIx64"; ", msg.arg.pagefault.flags);
        printf("address = %"PRIx64"\n", msg.arg.pagefault.address);
        /* Copy the page pointed to by 'page' into the faulting
           region. Vary the contents that are copied in, so that it
           is more obvious that each fault is handled separately. */
        memset(page, 'A' + fault_cnt % 20, page_size);
        fault_cnt++;
        uffdio_copy.src = (unsigned long) page;
        /* We need to handle page faults in units of pages(!).
           So, round faulting address down to page boundary. */
        uffdio_copy.dst = (unsigned long) msg.arg.pagefault.address &
                                           ~(page_size - 1);
        uffdio_copy.len = page_size;
        uffdio_copy.mode = 0;
        uffdio_copy.copy = 0;
        if (ioctl(uffd, UFFDIO_COPY, &uffdio_copy) == -1)
            err(EXIT_FAILURE, "ioctl-UFFDIO_COPY");
        printf("        (uffdio_copy.copy returned %"PRId64")\n",
               uffdio_copy.copy);
    }
}
int
main(int argc, char *argv[])
{
    int        s;
    char       c;
    char       *addr;   /* Start of region handled by userfaultfd */
    long       uffd;    /* userfaultfd file descriptor */
    size_t     len, l;  /* Length of region handled by userfaultfd */
    pthread_t  thr;     /* ID of thread that handles page faults */
    struct uffdio_api       uffdio_api;
    struct uffdio_register  uffdio_register;
    if (argc != 2) {
        fprintf(stderr, "Usage: %s num-pages\n", argv[0]);
        exit(EXIT_FAILURE);
    }
    page_size = sysconf(_SC_PAGE_SIZE);
    len = strtoull(argv[1], NULL, 0) * page_size;
    /* Create and enable userfaultfd object. */
    uffd = syscall(SYS_userfaultfd, O_CLOEXEC | O_NONBLOCK);
    if (uffd == -1)
        err(EXIT_FAILURE, "userfaultfd");
    /* NOTE: Two-step feature handshake is not needed here, since this
       example doesn't require any specific features.
       Programs that *do* should call UFFDIO_API twice: once with
       `features = 0` to detect features supported by this kernel, and
       again with the subset of features the program actually wants to
       enable. */
    uffdio_api.api = UFFD_API;
    uffdio_api.features = 0;
    if (ioctl(uffd, UFFDIO_API, &uffdio_api) == -1)
        err(EXIT_FAILURE, "ioctl-UFFDIO_API");
    /* Create a private anonymous mapping. The memory will be
       demand-zero paged--that is, not yet allocated. When we
       actually touch the memory, it will be allocated via
       the userfaultfd. */
    addr = mmap(NULL, len, PROT_READ | PROT_WRITE,
                MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
    if (addr == MAP_FAILED)
        err(EXIT_FAILURE, "mmap");
    printf("Address returned by mmap() = %p\n", addr);
    /* Register the memory range of the mapping we just created for
       handling by the userfaultfd object. In mode, we request to track
       missing pages (i.e., pages that have not yet been faulted in). */
    uffdio_register.range.start = (unsigned long) addr;
    uffdio_register.range.len = len;
    uffdio_register.mode = UFFDIO_REGISTER_MODE_MISSING;
    if (ioctl(uffd, UFFDIO_REGISTER, &uffdio_register) == -1)
        err(EXIT_FAILURE, "ioctl-UFFDIO_REGISTER");
    /* Create a thread that will process the userfaultfd events. */
    s = pthread_create(&thr, NULL, fault_handler_thread, (void *) uffd);
    if (s != 0) {
        errc(EXIT_FAILURE, s, "pthread_create");
    }
    /* Main thread now touches memory in the mapping, touching
       locations 1024 bytes apart. This will trigger userfaultfd
       events for all pages in the region. */
    l = 0xf;    /* Ensure that faulting address is not on a page
                   boundary, in order to test that we correctly
                   handle that case in fault_handling_thread(). */
    while (l < len) {
        c = addr[l];
        printf("Read address %p in %s(): ", addr + l, __func__);
        printf("%c\n", c);
        l += 1024;
        usleep(100000);         /* Slow things down a little */
    }
    exit(EXIT_SUCCESS);
}