install.rb / setup.rb は Ruby プログラムのパッケージを 対象としたコマンドラインベースのインストーラです。
install.rb は単体パッケージ用のインストーラです。Ruby スクリプト、拡張モジュール、コマンド、データをインストール できます。これはようするに「ライブラリ」ひとつ分に相当します。
一方 setup.rb はそのパッケージをさらに複数たばねて扱うことが できます。一部のパッケージだけを選択してインストールしたりする ことも可能です。