Plattformen
ClickHouse
Speichere die Besuche und Ereignisse des eigenständigen Servers in ClickHouse, für schnelle gefilterte Berichte auf großen Websites, und zieh eine bestehende Installation ohne Ausfallzeit um.
Der eigenständige Server kann seine Besuche und Ereignisse in ClickHouse speichern, einer Datenbank, die dafür gebaut ist, Millionen Zeilen auf einmal zu lesen. Alles andere bleibt, wo es ist, in SQLite, Postgres oder MySQL: Websites, Ziele, Trichter, Links, Konten, Einstellungen und der Rest. Nur die beiden größten Tabellen ziehen um.
Wann es sich lohnt
SQLite, Postgres und MySQL beantworten ein ungefiltertes Dashboard aus täglichen Zusammenfassungen und bleiben daher bei jeder Größe schnell. Ein Filter muss die Besuche lesen, die er auswählt, und dort hilft ClickHouse. Bei einem Jahr einer viel besuchten Website öffnet ein auf eine Seite gefiltertes Dashboard in 0,65 Sekunden, während die anderen 9 bis 24 Sekunden brauchen. Die Leistungsseite zeigt alle Messungen.
Es lohnt sich ab einigen Millionen Besuchen im Monat oder wenn oft über lange Zeiträume gefiltert wird. Eine kleine Website gewinnt wenig und hat eine Datenbank mehr zu betreiben.
ClickHouse braucht mindestens 4 GB Arbeitsspeicher und 8 GB für ein Jahr mit 10 Millionen Besuchen. Runlight setzt Version 25.8 oder neuer voraus, selbst gehostet oder in ClickHouse Cloud.
Wie groß es geht
Das sind Messungen auf einem Rechner, einem Apple M4 Max mit 14 Kernen, mit ClickHouse 25.8 in Docker und einem Runlight-Server daneben. Jede Website hatte ein Jahr synthetischen Verkehr mit etwa vier Ereignissen pro Besuch. Jede Zeit umfasst alle Anfragen, die das Dashboard beim Öffnen stellt, zusammen gesendet, während nichts anderes schreibt. Deine Hardware und dein Verkehr ergeben andere Zahlen, nimm sie also als Ausgangspunkt und miss selbst.
| Besuche im Jahr | ClickHouse-Arbeitsspeicher | Letzte 7 Tage | Letzte 30 Tage | Letzte 12 Monate | 12 Monate, gefiltert |
|---|---|---|---|---|---|
| 10 Millionen | 8 GB | 0,14 s | 0,4 s | 2,8 s | 2,2 bis 2,7 s |
| 180 Millionen | 8 GB | 0,9 s | 3,7 s | 38 bis 40 s | 30 bis 55 s |
180 Millionen Besuche im Jahr sind etwa 10 Millionen eindeutige Besucher im Monat. Bei dieser Größe waren 14 GB Arbeitsspeicher nicht schneller als 8 GB, denn ClickHouse war auf jedem Kern beschäftigt, statt zu wenig Speicher zu haben, aber 8 GB sind knapp: In zwei von einem Dutzend Läufen, während daneben anderes lief, ging einigen Kästen über 12 Monate der Speicher aus. Gib ClickHouse 14 GB oder mehr, um Luft zu haben. Mit 4 GB öffnete ein Jahr mit 10 Millionen Besuchen über 7 und 30 Tage, aber die Kästen für Kanal, Land, Gerät und Kampagne scheiterten über 12 Monate.
Jedes Ereignis in ClickHouse trägt Quelle, Kampagne, Ort und Gerät seines Besuchs mit sich, also liest ein Filter auf eines davon nur die Ereignisse. Ein Filter auf eine Seite liest jeden Seitenaufruf im Zeitraum, um die Besuche zu finden, die sie gesehen haben, deshalb ist er über ein Jahr der größten Website die langsamste Ansicht. Kurze Zeiträume sind schnell, gefiltert oder nicht.
Speicherplatz
ClickHouse brauchte etwa 0,4 GB für jede Million Besuche mit ihren Ereignissen, komprimiert: 3,7 GB für 10 Millionen und 75 GB für 180 Millionen. Besuche mit mehr Ereignissen brauchen mehr.
Aufrufe
Ein Server zeichnete 600 Aufrufe pro Sekunde auf und beantwortete jeden innerhalb von 0,3 Sekunden, mit ClickHouse auf etwa 9 Kernen beschäftigt. Bei 800 pro Sekunde war ClickHouse auf allen 14 beschäftigt, und Aufrufe warteten und liefen in Zeitüberschreitungen. Ein Jahr mit 180 Millionen Besuchen zu je vier Ereignissen ergibt im Schnitt etwa 25 Aufrufe pro Sekunde, ein Server hat also Platz für Spitzen von einem Vielfachen davon. Für mehr lass mehrere Kopien des Servers hinter einem Load Balancer laufen.
Ist ClickHouse nicht erreichbar, ausgelastet oder startet neu, hält der Server jeden Aufruf in SQLite, Postgres oder MySQL fest, ohne Adresse und ohne User-Agent, und schickt sie in der Reihenfolge ihres Eintreffens, sobald ClickHouse wieder antwortet. Solange welche warten, reihen sich neue Aufrufe dahinter ein, damit die Aufrufe eines Besuchers in Reihenfolge bleiben. Ein Aufruf wartet höchstens einen Tag, und es warten höchstens zwei Millionen, etwa ein Gigabyte. Darüber hinaus gehen Aufrufe verloren und werden als „could not record an event“ protokolliert. Behalte also das Protokoll und den Zustand von ClickHouse im Blick.
Einrichten
Setze CLICKHOUSE_URL auf das ClickHouse, das genutzt werden soll, mit Benutzer, Passwort und einem Datenbanknamen, und starte den Server.
bash
CLICKHOUSE_URL=https://runlight:password@clickhouse.example.com:8443/runlight npx @runlight/serverDer Server legt die Datenbank an, falls es sie noch nicht gibt, erstellt seine Tabellen und schreibt ins Log, wohin die Besuche gehen. Ist ClickHouse nicht erreichbar, hält der Server mit dem Grund an, statt Besuche zu verlieren.
Nimm https://, wenn ClickHouse auf einem anderen Rechner läuft, denn das Passwort geht mit jeder Anfrage mit. Innerhalb eines Docker-Netzwerks, wie unten, reicht http://. Der Server warnt beim Start, wenn die Adresse mit http:// beginnt und über das Internet gehen könnte.
Der ClickHouse-Benutzer braucht diese Rechte auf seiner Datenbank. CREATE DATABASE braucht er zusätzlich nur, wenn es die Datenbank noch nicht gibt.
sql
GRANT CREATE TABLE, CREATE VIEW, INSERT, SELECT, ALTER DELETE, ALTER UPDATE, OPTIMIZE, TRUNCATE ON runlight.* TO runlight;
GRANT SELECT ON system.mutations TO runlight;Die zweite Zeile ist freiwillig. Mit ihr läuft ein großes Löschen (eine Website, oder alte Besuche nach ihrer Aufbewahrungsdauer) im Hintergrund von ClickHouse, während der Server darauf wartet, so lange es dauert. Ohne sie wartet der Server auf die Anfrage, die nach fünf Minuten aufgibt.
Mit Docker Compose
So laufen Runlight und ClickHouse nebeneinander, jedes mit seinen Daten in einem Volume.
compose.yaml
services:
runlight:
image: ghcr.io/runlightsh/runlight
ports: ["127.0.0.1:3000:3000"]
volumes: ["runlight:/data"]
environment:
CLICKHOUSE_URL: http://runlight:change-me@clickhouse:8123/runlight
depends_on:
clickhouse:
condition: service_healthy
clickhouse:
image: clickhouse/clickhouse-server:25.8
environment:
CLICKHOUSE_USER: runlight
CLICKHOUSE_PASSWORD: change-me
ulimits:
nofile: { soft: 262144, hard: 262144 }
volumes: ["clickhouse:/var/lib/clickhouse"]
healthcheck:
test: ["CMD", "clickhouse-client", "--user", "runlight", "--password", "change-me", "-q", "SELECT 1"]
interval: 5s
volumes:
runlight:
clickhouse:ClickHouse ist hier nur aus dem Compose-Netzwerk erreichbar und braucht daher keinen eigenen Port.
Mit ClickHouse Cloud
Lege einen Dienst an und kopiere unter Connect seine HTTPS-Adresse und sein Passwort. Die Adresse kommt mit Benutzer, Passwort und einem Datenbanknamen in CLICKHOUSE_URL.
bash
CLICKHOUSE_URL=https://default:password@abc123.eu-west-1.aws.clickhouse.cloud:8443/runlightEine bestehende Installation umziehen
Füge CLICKHOUSE_URL bei einem Server hinzu, der schon Besuche hat, und starte ihn neu. Beim ersten Start kopiert er die Besuche der letzten zwei Tage nach ClickHouse, bevor er irgendetwas zählt, sodass ein gerade laufender Besuch weitergeht. Auf einer viel besuchten Website dauert das ein paar Sekunden. Danach geht jeder Aufruf an ClickHouse.
Der Rest wird im Hintergrund kopiert, die neuesten zuerst, ein Tag nach dem anderen, sodass die Berichte, die am häufigsten angesehen werden, fast sofort stimmen. Eine Million Besuche dauern auf einem Laptop weniger als eine Minute. Bis die Kopie fertig ist, zeigt das Dashboard, wie weit die Berichte bisher zurückreichen, und Importe von Besuchen und Links werden abgewiesen, weil ein Import in dieser Zeit dieselben Besuche doppelt zählen könnte.
Die Kopie merkt sich nach jedem Tag, wie weit sie gekommen ist, sodass ein Neustart oder eine abgebrochene Verbindung dort weitermacht, ohne einen Besuch doppelt zu zählen. Teilen sich mehrere Instanzen des Servers eine Datenbank, kopiert eine von ihnen, und die anderen zählen weiter. Hält diese an, übernimmt innerhalb von zwei Minuten eine andere.
Soll alles fertig sein, bevor der Server Besuche annimmt, halte den Server an, setze CLICKHOUSE_URL und führe die Kopie selbst aus. Starte danach den Server.
bash
npx @runlight/server clickhouse copyIn Docker führst du die Befehle auf dieser Seite im Container aus, wie den Befehl password.
bash
docker exec runlight node node_modules/.bin/runlight.sh clickhouse statusSehen, wie weit es ist
bash
npx @runlight/server clickhouse statusDer Befehl zeigt, wie viele Besuche und Ereignisse ClickHouse enthält, wie weit die Kopie zurückreicht und ob die alten Tabellen noch Besuche enthalten.
Die alten Tabellen leeren
Ist die Kopie fertig, bleiben die alten Besuche in SQLite, Postgres oder MySQL liegen, und nichts liest sie. Leere sie, wenn du mit ClickHouse zufrieden bist.
bash
npx @runlight/server clickhouse drop-oldDer Befehl sagt, was er löschen wird, und bittet dich, yes einzutippen. Mit --yes entfällt die Frage, etwa in einem Skript. Solange die Kopie noch läuft, verweigert er die Arbeit.
Er leert nur die Besuche, die begonnen haben, bevor ClickHouse übernommen hat, und die alle in ClickHouse sind. Ein Server, der nach dem Wechsel noch ohne CLICKHOUSE_URL läuft, etwa einer, der noch nicht neu gestartet wurde, schreibt seine Besuche in die alten Tabellen, wo ClickHouse sie nie sieht. status zählt sie, und drop-old lässt sie stehen.
Zurückwechseln
Um ClickHouse nicht mehr zu nutzen, halte jeden Server an und kopiere alles zurück.
bash
npx @runlight/server clickhouse copy --backDas ersetzt die Besuche und Ereignisse in SQLite, Postgres oder MySQL durch alles, was ClickHouse enthält, auch die Besuche seit dem Wechsel, und leert danach ClickHouse. Vorher fragt der Befehl nach, und er verweigert die Arbeit, solange noch ein Server Aufrufe annimmt. Ein Server, der ohne sauberes Herunterfahren angehalten hat, gilt eineinhalb Minuten nach seiner letzten Meldung als weg. Entferne dann CLICKHOUSE_URL und starte den Server, der die täglichen Zusammenfassungen im Betrieb neu aufbaut. Schaltest du ClickHouse später wieder ein, wird alles neu kopiert.
Bricht der Befehl mittendrin ab, führe ihn noch einmal aus. Sobald die alte Datenbank alles enthält, hält er das fest, bevor er ClickHouse leert, sodass ein zweiter Lauf die Arbeit beendet, statt aus einem leeren ClickHouse zu kopieren. Bis er fertig ist, startet kein Server mit CLICKHOUSE_URL.
In deiner eigenen App
Eine Node-App, die Runlight als Bibliothek nutzt, kann dasselbe. Leg das ClickHouse um den Speicher, den sie schon hat.
ts
import { runlight } from "@runlight/sdk";
import { postgres } from "@runlight/sdk/postgres";
import { clickhouse } from "@runlight/sdk/clickhouse";
export const rl = runlight({
store: clickhouse({ url: process.env.CLICKHOUSE_URL!, store: postgres({ url: process.env.DATABASE_URL! }) }),
});Die Kopie läuft im Prozess der App, wie im Server. clickhouse() nimmt neben url und store diese Optionen.
| Option | Standard | Was sie tut |
|---|---|---|
maxQueries |
2 | Wie viele Berichtsabfragen höchstens zugleich an ClickHouse gehen; die übrigen warten, bis sie dran sind. Die Lese- und Schreibzugriffe eines Aufrufs haben eigene Spuren. |
queryTimeout |
120000 | Wie lange eine Berichtsabfrage höchstens laufen darf, in Millisekunden. 0 heißt ohne Grenze. |
copyInBackground |
true | Mit false bleibt die Kopie für store.copy(), aufgerufen aus einem eigenen Skript. Die letzten zwei Tage werden so oder so kopiert, bevor der Speicher bereit ist. |
Was sich ändert
Berichte lesen in ClickHouse die Besuche selbst, es gibt also keine täglichen Zusammenfassungen aufzubauen. Ungefilterte Ansichten über einen langen Zeitraum dauern etwas länger als mit Zusammenfassungen, etwa 0,4 Sekunden für ein Jahr mit einer Million Besuchen, und gefilterte sind viel schneller.
Besucher über mehrere Tage werden aus den Besuchen gezählt, während die Zusammenfassungen die Zahlen jedes Tages addieren. Die beiden weichen nur ab, wenn ein Besuch über Mitternacht läuft und dieselbe Person am nächsten Tag wiederkommt, sodass ClickHouse ein paar weniger zeigen kann.
Besucher werden bis etwa 4.000 in jeder einzelnen Zahl genau gezählt und darüber geschätzt, auf etwa 1 % genau. Eine genaue Zählung der Besucher eines Jahres für jede Seite einer großen Website braucht mehrere Gigabyte Arbeitsspeicher, und die Schätzung braucht einen Bruchteil davon. Eine Schätzung zeigt nie mehr Besucher als die Besuche, Seitenaufrufe oder Conversions, deren Besucher sie zählt.
Es wird nichts Neues gespeichert. Die Spalten sind dieselben, die die anderen Datenbanken führen, ohne IP-Adresse und ohne vollständigen User-Agent, und die täglichen Salts bleiben in SQLite, Postgres oder MySQL. Ein gelöschter Besuch verschwindet sofort aus den Berichten, und ClickHouse schreibt die Teile der Tabelle, die ihn enthielten, innerhalb eines Tages neu, sodass er auch von der Platte verschwindet.