Skip to content

DC-6098: [Tech] Facture : YJIT et préchauffage Puma avant fork - #5

Merged
burisu merged 2 commits into
mainfrom
DC-6098/puma-yjit-warmup-before-fork
Oct 29, 2026
Merged

burisu merged 2 commits into
mainfrom
DC-6098/puma-yjit-warmup-before-fork

Conversation

@burisu

@burisu burisu commented Oct 29, 2026

Copy link
Copy Markdown

Le problème

Ruby ne compile YJIT que s'il trouve rustc (1.58 ou plus) au moment de la compilation (configure.ac:3936-3946 de Ruby 4.0.6). Un Ruby compilé avant l'installation de rustc n'a donc pas YJIT, et installer rustc ensuite ne suffit pas : asdf install saute une version déjà installée, donc ce Ruby reste sans YJIT tant que sa version ne change pas.

Ce qui change

  • Nouvelle variable asdf_ruby_use_yjit, vraie par défaut, sur le modèle de asdf_ruby_use_jemalloc.
  • asdf:map_bins ajoute --enable-yjit aux options de compilation de Ruby (RUBY_CONFIGURE_OPTS, à côté de --with-jemalloc) quand command -v rustc réussit sur le serveur. Avec asdf_ruby_use_yjit à false, il ajoute --disable-yjit, et le serveur n'est même pas interrogé.
  • asdf:install, après asdf install et quand les options demandent YJIT, demande au Ruby de .tool-versions s'il a été compilé sans YJIT (RbConfig::CONFIG["YJIT_SUPPORT"] == "no"). Si oui, il relance le script d'installation du plugin asdf-ruby sur le même dossier (ASDF_INSTALL_PATH = le prefix de ce Ruby).
    • ruby-build compile dans un dossier temporaire et ne supprime jamais le dossier d'installation, même en cas d'échec (build_failed()). Seul make install remplace les fichiers, en supprimant puis recopiant chacun (FileUtils.install).
    • YJIT_SUPPORT n'existe que depuis Ruby 3.2. Un Ruby plus ancien n'est donc jamais recompilé en boucle.
  • Tests : les réglages communs aux deux fichiers de tests passent dans test_helper.rb, avec un faux backend SSHKit qui enregistre les commandes distantes.
  • README : section asdf_ruby_use_yjit.
  • Version 1.6.0. Le CHANGELOG reprend aussi le correctif déjà sur main et pas encore publié (1b7ee26, lecture de .tool-versions).

Comment c'est testé

  • bundle exec rake : 13 tests, 26 assertions, 0 échec, standard sans offense.
  • test/capistrano/test_yjit.rb joue asdf:map_bins puis asdf:install, dans l'ordre d'un déploiement, avec un faux backend SSHKit. Il vérifie :
    • les options de compilation avec ou sans rustc et jemalloc ;
    • la variable à false ;
    • jemalloc désactivé ;
    • une application sans Ruby ;
    • la recompilation d'un Ruby sans YJIT (dans current, avec ASDF_INSTALL_* et --enable-yjit) ;
    • qu'un Ruby avec YJIT n'est pas recompilé, ni rien sans rustc.
  • Mutations : 14, une par ligne ou condition ajoutée. Chacune fait échouer au moins un test.
  • De bout en bout, dans un conteneur Ubuntu 24.04 (aarch64) : asdf 0.15.0, Ruby 4.0.6 compilé sans rustc avec jemalloc, rustc 1.75 d'apt. cap e2e asdf:install y a été lancé depuis un vrai projet Capistrano, en SSH :
    • Sans rustc : RUBY_CONFIGURE_OPTS="--with-jemalloc=/usr/include/jemalloc", aucune recompilation, Ruby inchangé.
    • Avec rustc : RUBY_CONFIGURE_OPTS="--with-jemalloc=/usr/include/jemalloc --enable-yjit".
      • La recompilation a pris 73 s dans le conteneur. Ensuite, YJIT_SUPPORT=yes et ruby --yjit donne RubyVM::YJIT.enabled? == true.
      • configure_args est identique, avec --enable-yjit en plus, et jemalloc est toujours lié.
      • Le prefix n'a pas changé, et une gem installée dans le Ruby avant (rainbow) est toujours là.
      • Pendant un second passage par cap, 4 boucles ont lancé sans pause asdf exec ruby et bin/ruby, chacun avec require "json" et require "digest/sha2" : 9 166 appels, dont 81 pendant la seconde où make install remplace les fichiers, 0 échec.
      • Un processus Ruby lancé avant la recompilation reste vivant, et charge ensuite sans erreur une extension native de la nouvelle installation.
    • Deuxième passage : aucune recompilation, 2 s.
    • asdf_ruby_use_yjit à false : RUBY_CONFIGURE_OPTS="--with-jemalloc=/usr/include/jemalloc --disable-yjit", aucune recompilation.
    • Pas testé :
      • l'échec d'une recompilation (le code de ruby-build laisse l'ancien Ruby en place) ;
      • un cap deploy complet ;
      • un serveur x86_64.

À savoir pour la relecture

  • rustc doit être dans le PATH par défaut de la session SSH, comme avec un paquet système. C'est aussi là que la compilation de Ruby le cherche. Un rustc installé par rustup dans ~/.cargo/bin n'est vu ni par la gem ni par Ruby.
  • Une recompilation qui échoue arrête le déploiement, et l'ancien Ruby reste en place. set :asdf_ruby_use_yjit, false débloque les déploiements.
  • Le premier déploiement après l'installation de rustc prend le temps d'une compilation de Ruby en plus. Les processus déjà lancés gardent l'ancien Ruby jusqu'à leur redémarrage.
  • Sur un serveur sans rustc, rien ne change.
  • PR asdf-0-20: Install asdf from its pre-compiled binary and default to 0.20 #4 (asdf 0.20, draft) passe aussi la gem en 1.6.0 : elle devra passer en 1.7.0 si celle-ci est publiée avant. Elle reste compatible : elle exporte ASDF_DATA_DIR vers asdf_path, là où cette PR va chercher plugins/ruby/bin/install.

Décisions

  • capistrano-asdf n'installe pas Rust : rustc est installé sur le serveur, en dehors de la gem. Décidé par Brice le 29/10/2026.
  • La compilation de Ruby avec YJIT par capistrano-asdf se règle par une variable Capistrano, asdf_ruby_use_yjit. Décidé par Brice le 29/10/2026.
  • asdf_ruby_use_yjit vaut true par défaut dans capistrano-asdf, comme asdf_ruby_use_jemalloc, parce qu'elle ne change rien sur un serveur sans rustc et que Ruby compile déjà YJIT de lui-même quand il trouve rustc. Décidé par Claude le 29/10/2026.
  • Avec asdf_ruby_use_yjit à false, capistrano-asdf compile Ruby avec --disable-yjit, parce que sans cette option Ruby compilerait YJIT de lui-même dès qu'il trouve rustc. Décidé par Claude le 29/10/2026.
  • Quand rustc est sur le serveur, capistrano-asdf recompile au déploiement, dans son propre dossier, le Ruby de .tool-versions compilé sans YJIT. La raison : asdf install saute une version déjà installée, et le ticket demande de recompiler Ruby sans changer de version. Ruby reste utilisable pendant la compilation. Décidé par Claude le 29/10/2026.
  • Quand rustc est sur le serveur, capistrano-asdf compile Ruby avec --enable-yjit, pour qu'un rustc incapable de compiler YJIT fasse échouer l'installation (et le déploiement) au lieu de donner en silence un Ruby sans YJIT. Décidé par Claude le 29/10/2026.
  • capistrano-asdf ne cherche rustc que dans le PATH par défaut de la session SSH, parce que c'est là que la compilation de Ruby le cherche aussi. Décidé par Claude le 29/10/2026.
  • La version de capistrano-asdf qui ajoute asdf_ruby_use_yjit est la 1.6.0, parce qu'elle ajoute une variable sans rien casser. Décidé par Claude le 29/10/2026.

🤖 Generated with Claude Code

burisu and others added 2 commits October 29, 2026 16:08
Ruby ne compile YJIT que s'il trouve rustc au moment de la compilation,
et asdf install saute une version déjà installée : le Ruby 4.0.6 d'app5,
compilé sans rustc, ne recevrait jamais YJIT.

La variable asdf_ruby_use_yjit (vrai par défaut) ajoute --enable-yjit aux
options de compilation de Ruby quand rustc est présent, et asdf:install
recompile dans son propre dossier un Ruby installé sans YJIT. À faux, Ruby
est compilé avec --disable-yjit.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@burisu burisu self-assigned this Oct 29, 2026
@burisu
burisu marked this pull request as ready for review October 29, 2026 15:31
@burisu
burisu merged commit 21d1edf into main Oct 29, 2026
1 check passed
@burisu
burisu deleted the DC-6098/puma-yjit-warmup-before-fork branch October 29, 2026 15:32
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Development

Successfully merging this pull request may close these issues.

1 participant