Plateformes
ClickHouse
Gardez les visites et les événements du serveur autonome dans ClickHouse pour des rapports filtrés rapides sur les gros sites, et déplacez une installation existante sans interruption.
Le serveur autonome peut garder ses visites et ses événements dans ClickHouse, une base conçue pour lire des millions de lignes d’un coup. Tout le reste reste où il est, dans SQLite, Postgres ou MySQL : les sites, les objectifs, les entonnoirs, les liens, les comptes, les réglages et le reste. Seules les deux plus grosses tables changent de place.
Quand cela vaut la peine
SQLite, Postgres et MySQL répondent à un tableau de bord sans filtre à partir des agrégations quotidiennes, ils restent donc rapides quelle que soit la taille. Un filtre doit lire les visites qu’il retient, et c’est là que ClickHouse aide. Sur une année d’un site très fréquenté, un tableau de bord filtré sur une page s’ouvre en 0,65 seconde, quand les autres mettent de 9 à 24 secondes. La page Performances donne toutes les mesures.
Cela vaut la peine au-delà de quelques millions de visites par mois, ou quand on filtre souvent de longues périodes. Un petit site y gagne peu et a une base de plus à faire tourner.
ClickHouse demande au moins 4 Go de mémoire, et 8 Go pour une année de 10 millions de visites. Runlight a besoin de la version 25.8 ou plus récente, auto-hébergée ou sur ClickHouse Cloud.
Jusqu’où ça tient
Voici des mesures sur une seule machine, un Apple M4 Max à 14 cœurs, avec ClickHouse 25.8 dans Docker et un serveur Runlight à côté. Chaque site avait une année de trafic synthétique, à environ quatre événements par visite. Chaque temps couvre toutes les requêtes que le tableau de bord fait à l’ouverture, envoyées ensemble, sans rien d’autre qui écrit. Votre matériel et votre trafic donneront d’autres chiffres : prenez-les comme point de départ et mesurez les vôtres.
| Visites par an | Mémoire de ClickHouse | 7 derniers jours | 30 derniers jours | 12 derniers mois | 12 mois, filtré |
|---|---|---|---|---|---|
| 10 millions | 8 Go | 0,14 s | 0,4 s | 2,8 s | 2,2 à 2,7 s |
| 180 millions | 8 Go | 0,9 s | 3,7 s | 38 à 40 s | 30 à 55 s |
180 millions de visites par an, c’est environ 10 millions de visiteurs uniques par mois. À cette taille, 14 Go de mémoire n’allaient pas plus vite que 8 Go, car ClickHouse occupait tous les cœurs plutôt que de manquer de mémoire, mais 8 Go, c’est juste : dans deux passages sur une douzaine, avec d’autres travaux à côté, quelques blocs sur 12 mois ont manqué de mémoire. Donnez-lui 14 Go ou plus pour avoir de la marge. Avec 4 Go, une année de 10 millions de visites s’ouvrait sur 7 et 30 jours, mais les blocs canal, pays, appareil et campagne échouaient sur 12 mois.
Dans ClickHouse, chaque événement porte la source, la campagne, le lieu et l’appareil de sa visite, donc un filtre sur l’un d’eux ne lit que les événements. Un filtre sur une page lit chaque page vue de la période pour trouver les visites qui l’ont vue, ce qui en fait la vue la plus lente sur une année du plus gros site. Les périodes courtes sont rapides, avec ou sans filtre.
Disque
ClickHouse a utilisé environ 0,4 Go par million de visites avec leurs événements, compressés : 3,7 Go pour 10 millions et 75 Go pour 180 millions. Des visites avec plus d’événements prennent plus de place.
Hits
Un serveur a enregistré 600 hits par seconde en répondant à chacun en moins de 0,3 seconde, avec ClickHouse occupé sur environ 9 cœurs. À 800 par seconde, ClickHouse occupait les 14, et les hits attendaient puis expiraient. Une année de 180 millions de visites à quatre événements chacune fait en moyenne environ 25 hits par seconde, donc un serveur a de la marge pour des pics plusieurs fois supérieurs à la moyenne. Pour davantage, faites tourner plusieurs copies du serveur derrière un répartiteur de charge.
Quand ClickHouse est injoignable, occupé ou redémarre, le serveur garde chaque hit dans SQLite, Postgres ou MySQL, sans adresse ni user agent, et les envoie dans l’ordre d’arrivée dès que ClickHouse répond de nouveau. Tant que des hits attendent, les nouveaux se rangent derrière eux, pour que les hits d’un visiteur restent dans l’ordre. Un hit attend un jour au plus, et deux millions au plus attendent, environ un gigaoctet. Au-delà, les hits sont perdus et journalisés comme « could not record an event », alors surveillez le journal et la santé de ClickHouse.
Le mettre en place
Donnez à CLICKHOUSE_URL l’adresse du ClickHouse à utiliser, avec son utilisateur, son mot de passe et un nom de base, puis démarrez le serveur.
bash
CLICKHOUSE_URL=https://runlight:password@clickhouse.example.com:8443/runlight npx @runlight/serverLe serveur crée la base si elle n’existe pas encore, crée ses tables et note dans son journal où vont les visites. Si ClickHouse est injoignable, le serveur s’arrête en donnant la raison plutôt que de perdre des visites.
Utilisez https:// quand ClickHouse est sur une autre machine, puisque le mot de passe part avec chaque requête. Dans un même réseau Docker, comme ci-dessous, http:// suffit. Le serveur avertit au démarrage si l’adresse commence par http:// et pourrait passer par Internet.
L’utilisateur ClickHouse a besoin de ces droits sur sa base. Il n’a besoin de CREATE DATABASE en plus que si la base n’existe pas encore.
sql
GRANT CREATE TABLE, CREATE VIEW, INSERT, SELECT, ALTER DELETE, ALTER UPDATE, OPTIMIZE, TRUNCATE ON runlight.* TO runlight;
GRANT SELECT ON system.mutations TO runlight;La seconde ligne est facultative. Avec elle, une grosse suppression (un site, ou de vieilles visites au-delà de leur durée de conservation) tourne en arrière-plan dans ClickHouse pendant que le serveur l’attend, aussi longtemps qu’il faut. Sans elle, le serveur attend sur la requête, qui abandonne au bout de cinq minutes.
Avec Docker Compose
Ce fichier fait tourner Runlight et ClickHouse côte à côte, chacun avec ses données dans un volume.
compose.yaml
services:
runlight:
image: ghcr.io/runlightsh/runlight
ports: ["127.0.0.1:3000:3000"]
volumes: ["runlight:/data"]
environment:
CLICKHOUSE_URL: http://runlight:change-me@clickhouse:8123/runlight
depends_on:
clickhouse:
condition: service_healthy
clickhouse:
image: clickhouse/clickhouse-server:25.8
environment:
CLICKHOUSE_USER: runlight
CLICKHOUSE_PASSWORD: change-me
ulimits:
nofile: { soft: 262144, hard: 262144 }
volumes: ["clickhouse:/var/lib/clickhouse"]
healthcheck:
test: ["CMD", "clickhouse-client", "--user", "runlight", "--password", "change-me", "-q", "SELECT 1"]
interval: 5s
volumes:
runlight:
clickhouse:Ici, ClickHouse n’est joignable que depuis le réseau de Compose, il n’a donc besoin d’aucun port à lui.
Avec ClickHouse Cloud
Créez un service, puis copiez son adresse HTTPS et son mot de passe depuis Connect. L’adresse va dans CLICKHOUSE_URL, avec l’utilisateur, le mot de passe et un nom de base en plus.
bash
CLICKHOUSE_URL=https://default:password@abc123.eu-west-1.aws.clickhouse.cloud:8443/runlightDéplacer une installation existante
Ajoutez CLICKHOUSE_URL à un serveur qui a déjà des visites et redémarrez-le. À ce premier démarrage, il copie les visites des deux derniers jours dans ClickHouse avant de compter quoi que ce soit, si bien qu’une visite en cours à ce moment-là continue. Cela prend quelques secondes sur un site très fréquenté. Ensuite, chaque visite va dans ClickHouse.
Le reste est copié en arrière-plan, des plus récentes aux plus anciennes, un jour à la fois, si bien que les rapports les plus consultés sont justes presque tout de suite. Un million de visites prennent moins d’une minute sur un ordinateur portable. Tant que la copie n’est pas finie, le tableau de bord indique jusqu’où remontent les rapports pour l’instant, et les importations de visites et de liens sont refusées, puisqu’une importation à ce moment-là pourrait compter deux fois les mêmes visites.
La copie note où elle en est après chaque jour, si bien qu’un redémarrage ou une connexion coupée reprend à partir de là sans compter une visite deux fois. Quand plusieurs copies du serveur partagent une même base, l’une d’elles fait la copie et les autres continuent de compter. Si celle-ci s’arrête, une autre prend le relais en moins de deux minutes.
Pour que tout soit fait avant que le serveur reçoive la moindre visite, arrêtez le serveur, définissez CLICKHOUSE_URL et lancez la copie vous-même. Démarrez ensuite le serveur.
bash
npx @runlight/server clickhouse copyDans Docker, lancez les commandes de cette page dans le conteneur, comme pour la commande password.
bash
docker exec runlight node node_modules/.bin/runlight.sh clickhouse statusVoir où en est la copie
bash
npx @runlight/server clickhouse statusElle indique combien de visites et d’événements contient ClickHouse, jusqu’où la copie est remontée, et si les anciennes tables contiennent encore des visites.
Vider les anciennes tables
Une fois la copie finie, les anciennes visites restent dans SQLite, Postgres ou MySQL, et plus rien ne les lit. Videz-les quand ClickHouse vous convient.
bash
npx @runlight/server clickhouse drop-oldLa commande indique ce qu’elle va supprimer et vous demande de taper yes. Ajoutez --yes pour passer la question dans un script. Elle refuse tant que la copie est en cours.
Elle ne vide que les visites commencées avant que ClickHouse prenne le relais, qui sont toutes dans ClickHouse. Un serveur qui tourne encore sans CLICKHOUSE_URL après le changement, par exemple un serveur pas encore redémarré, écrit ses visites dans les anciennes tables, où ClickHouse ne les voit jamais. status les compte, et drop-old les laisse en place.
Revenir en arrière
Pour ne plus utiliser ClickHouse, arrêtez tous les serveurs et recopiez tout.
bash
npx @runlight/server clickhouse copy --backCette commande remplace les visites et les événements de SQLite, Postgres ou MySQL par tout ce que contient ClickHouse, y compris les visites depuis le changement, puis vide ClickHouse. Elle demande d’abord confirmation, et refuse tant qu’un serveur reçoit encore des visites. Un serveur arrêté sans s’éteindre proprement compte comme parti une minute et demie après son dernier signe de vie. Retirez ensuite CLICKHOUSE_URL et démarrez le serveur, qui reconstruit les agrégations quotidiennes au fil de son fonctionnement. Réactiver ClickHouse plus tard recopie tout depuis le début.
Si elle s’arrête en cours de route, relancez-la. Dès que l’ancienne base contient tout, elle le note avant de vider ClickHouse, si bien qu’un second passage termine le travail au lieu de copier depuis un ClickHouse vide. Tant qu’elle n’est pas finie, aucun serveur ne démarre avec CLICKHOUSE_URL.
Dans votre propre application
Une application Node qui utilise Runlight comme bibliothèque peut faire de même. Enveloppez le stockage qu’elle a déjà.
ts
import { runlight } from "@runlight/sdk";
import { postgres } from "@runlight/sdk/postgres";
import { clickhouse } from "@runlight/sdk/clickhouse";
export const rl = runlight({
store: clickhouse({ url: process.env.CLICKHOUSE_URL!, store: postgres({ url: process.env.DATABASE_URL! }) }),
});La copie tourne dans le processus de l’application, comme dans le serveur. clickhouse() accepte ces options en plus de url et store.
| Option | Par défaut | Ce qu’elle fait |
|---|---|---|
maxQueries |
2 | Le nombre maximal de requêtes de rapports envoyées à ClickHouse en même temps ; les autres attendent leur tour. Les lectures et écritures d’un hit ont leurs propres files. |
queryTimeout |
120000 | La durée maximale d’une requête de rapport, en millisecondes. 0 veut dire sans limite. |
copyInBackground |
true | Avec false, la copie est laissée à store.copy(), lancé depuis un script à vous. Les deux derniers jours sont copiés avant que le stockage soit prêt dans tous les cas. |
Ce qui change
Dans ClickHouse, les rapports lisent les visites elles-mêmes, il n’y a donc pas d’agrégations quotidiennes à construire. Les vues sans filtre sur une longue période prennent un peu plus de temps qu’avec les agrégations, environ 0,4 seconde pour une année d’un million de visites, et les vues filtrées sont bien plus rapides.
Les visiteurs sur plusieurs jours sont comptés à partir des visites, là où les agrégations additionnent ceux de chaque jour. Les deux ne diffèrent que lorsqu’une visite dépasse minuit et que la même personne revient le lendemain, si bien que ClickHouse peut en afficher quelques-uns de moins.
Les visiteurs sont comptés exactement jusqu’à environ 4 000 dans chaque chiffre, et estimés au-delà, à environ 1 % près. Un compte exact des visiteurs d’une année pour chaque page d’un gros site demande plusieurs gigaoctets de mémoire, et l’estimation n’en demande qu’une fraction. Une estimation n’affiche jamais plus de visiteurs que les visites, pages vues ou conversions dont elle compte les visiteurs.
Rien de nouveau n’est enregistré. Les colonnes sont celles que gardent les autres bases, sans adresse IP ni user agent complet, et les sels quotidiens restent dans SQLite, Postgres ou MySQL. Une visite supprimée disparaît aussitôt des rapports, et ClickHouse réécrit en moins d’un jour les parties de la table qui la contenaient, si bien qu’elle quitte aussi le disque.