r/CroIT • • 7h ago

Show off Napravio sam „git branch“ za SQL Server baze: kopija baze od 50 GB za par sekundi

19 Upvotes

Migracija koja prođe na praznoj bazi ili seedu od 20 redova može na produkciji da:

  • padne na NOT NULL koloni jer stari redovi imaju NULL,
  • padne na unique indeksu jer u podacima već postoje duplikati,
  • traje 40 minuta i drži lock na tabeli od 50 miliona redova.

To vidiš tek kad je pustiš na pravom obimu podataka. A restore backupa od 50 GB za svaki PR niko ne radi.

Zato sam napravio SqlBranch, open-source alat (Apache-2.0):

  1. Jednom napraviš „image“ baze iz backupa.
  2. Svako (developer, PR, test, AI agent) dobije svoju punu, writable kopiju baze za par sekundi.

Kopija je copy-on-write klon fajlova baze (XFS reflink). Brzina ne zavisi od veličine baze, a dodatni disk se troši tek kad počneš da pišeš.

Izmereno na x86-64 Linuxu, baza od 50 GB: klon ~0,4 s, novi branch ~2,5 s, prazan branch zauzima ~300 KB.

dotnet tool install --global SqlBranch                # instalira alat
sqlbranch init                                        # podiže SQL Server u Dockeru
sqlbranch image build prod --from-bak ./prod.bak      # jednom: restore u image
sqlbranch branch create moj-feature --from prod       # nova kopija za par sekundi
sqlbranch branch conn moj-feature                     # connection string

„Zašto ne Testcontainers?“ Za praznu bazu + EF migracije i mali seed, Testcontainers je sasvim OK. SqlBranch je za trenutak kad ti trebaju pravi podaci i realni execution planovi, ili kad su migracije i seed postali spori. Tada image napraviš jednom, i svaki test kreće od gotove šeme.

Za testove: NuGet paket SqlBranch.Testing. Svaki test dobije svoju bazu u jednoj liniji (xUnit, NUnit, MSTest).

Za DBA-ove: pusti migraciju, novi indeks ili skriptu za čišćenje podataka na punoj kopiji produkcije. Ako nešto pođe po zlu, sqlbranch branch reset vrati bazu na početak za par sekundi, bez restore-a.

Iskreno, da ne bude iznenađenja:

  • Potrebni su ti Docker i .NET 10 SDK.
  • Samo za razvoj i testiranje (SQL Server Developer edition u Dockeru).
  • Radi na Linuxu i macOS-u. Windows još nisam proverio, pa je pomoć dobrodošla.
  • Image može da se napravi i iz SQL skripti ili BACPAC-a (npr. export iz Azure SQL-a). Backupi sa Azure Bloba / S3 su još u preview fazi.

https://github.com/vuglll/SqlBranch

Zanima me vaše mišljenje: da li biste ovo koristili i šta bi vas sprečilo?