My own Storage Linux OS

I'm developing a Linux system for storage purpose. I was looking for a cluster enabled iSCSI target. I gave a try to openfiler and freenas: they have lot of features but both are missing what I was looking for.



So, starting from gentoo, i realized my stripped down OS.

Current features are:
- runs on 64 bit hardware
- Focused  for serving as Datastore for ESXi and/or Xenserver
- System image relatively small (approx 2GB)
- Boot from USB key
- Enterprise class iSCSI Target ( SCST )
- Block device replication ( DRBD )
- Cluster support (corosync) with cluster resource monitor ( pacemaker )

In Development features are:
- Give the project a name :-)
- Text user interface (written in bash) for common operations
- Data deduplication ( with Lessfs or ddumbfs )
- Virtual Tape Library Support ( with mhvtl ) in cojunction with dedup
- NFS/CIFS support
- Backup of Xenserver  with xenbackup script via remote cli

Future planned features are:
- Web User Interface
- Better build system (maybe move to embedded gentoo)
- BTRFS Support

It is suited for creating iSCSI Datastore for ESXi/Xenserver. It can act as Virtual San too.

If you are interested in testing you can downlad a test virtual machine (I packed the OVA from VirtualBox I think is compatible with vmware too).

http://dl.dropbox.com/u/3102209/Projects/SAN/Test-vSAN.tar.gz

Critics and comments are welcome!



10 commenti:

  1. I'm working on similar solution... will be very intersting to try your. Francesco

    RispondiElimina
  2. I turned it into a sf.net project. For now it has only the name, some artwork, a couple of development VMs and lot of ideas.

    I'm running a cluster of two in production with a vmware a xen pools and it's running very fine and fast :)

    If you are interested in participating let me know :)

    RispondiElimina
    Risposte
    1. Massimo De Nadal26 giugno 2012 07:13

      Hi Riccardo,
      at the moment I'm supporting Openfiler based solutions similar to yours.
      Definetely I want to migrate to something a little bit more modern :-)
      Please, let me know how can I contribute to your project.

      Ciao,
      Massimo

      Elimina
    2. I had a little stop just because I have a peak of work.
      For now you can test the vm and tell me your impressions.
      :-)

      Elimina
  3. sarebbe moooolto comodo averlo anche a 32 bit !

    RispondiElimina
  4. Hi!...

    I've just started many ideas about a storage server plus other similar / related services...I've startted with ubuntu, SCST, RAID/LVM, NIC teaming and I'm reading a lot of DRBD...integrating backup services with bacula and virtualization to offer a redundant storage controller, just like the storage controllers in proprietary, hardware-based storage solutions

    I'll try to write to you about my findings and I'l try also to test and analyze your project...

    Best Regards!

    Giovanny Ramirez
    IT Consultant
    giovanni.ramirez@itconsultores.info

    RispondiElimina
  5. Ha avuto un seguito questo progetto? Vorrei mettere insieme una distribuzione orientata allo storage e cerco collaboratori, ma non vorrei re-inventare la ruota...

    RispondiElimina
  6. Ciao!
    Diciamo che dato che la mia SAN si è assestata non sono più andato avanti.
    Ho continuato a lavorare sui resource agent per pacemaker fino a fine 2013 circa. Ora sono abbastanza stabili (per quanto riguarda iscsi) e non ho più rilasciato aggiornamenti. Realizzare una distro storage-oriented che sia molto facile da usare è un po' un'utopia, visto le varie tecnologie di storage con cui puoi aver a che fare (Fibre Channel, InfiniBand ...) e alla stratificazione che puoi ottenere combinando LVM, TIER, ecc... detto questo esiste già una distro starage oriented che procede lentamente, ma procede. Il progetto si chiama ESOS ( https://code.google.com/p/enterprise-storage-os/ ) e promette bene. Appena avrò tempo ricomincerò a collaborare con loro :)

    RispondiElimina
  7. Grazie per la risposta.
    Esos sembra ben fatto e funzionale. Lo metterò presto in un cluster di test.

    RispondiElimina
  8. ciao, io stò sviluppando un software che implementi il failover cluster manager in shell. sia mai che un giorno vi venisse voglia di rifare il cluster e provarlo :P è ancora in sviluppo e al momento stò iniziando a scrivere l'integrazione per montare una LUN via iSCSI (a voi invece serve tirar su il target, in futuro potrei anche scrivere questa integrazione), se vi interessa contattatemi! https://code.google.com/p/back-to-work/ . ciao . Luigi

    RispondiElimina