Rilascio di Apache Mesos 1.5: Container Orchestration con DC / OS e Marathon

Gestione delle risorse, strumenti di programmazione, monitoraggio delle attività, analisi dei dati, & Sicurezza Web

Apache Mesos è un progetto open source che estrae la CPU, la RAM, l’archiviazione e altre risorse di elaborazione disponibili su più istanze hardware in un data center in modo unificato in modo che gli amministratori di sistema possano gestire l’intera rete come un singolo computer. Apache Mesos offre un set di API uniche per la gestione delle risorse nel cloud computing che possono scalare fino a oltre 10.000 nodi, integrandosi con altri framework come Hadoop, Chronos, Spark, Cassandra, & Kafka per distribuzioni complesse di app Web / mobile. Apache Mesos è utilizzato da Apple, Microsoft, PayPal, Twitter, Verizon, Samsung, Netflix, eBay, Bloomberg, AirBNB, Yelp, Uber, China Mobile, & molte altre società per i loro requisiti di gestione dei data center. Benjamin Hindman, uno dei principali fondatori di Mesos / Nexus presso UC Berkeley, nel 2013 ha lanciato la società start-up Mesosphere che produce DC / OS (Datacenter Operating System) come distribuzione pronta per la produzione del codice progettato per l’uso aziendale. Mesosphere DC / OS include strumenti di gestione elastica delle risorse del cluster che consentono l’orchestrazione del cloud su larga scala tramite Docker Swarm, Kubernetes o Marathon. La versione più recente di Apache Mesos (versione 1.5) include il supporto per l’interfaccia di archiviazione contenitore (CSI) che consente al sistema di creare automaticamente partizioni di archiviazione basate su parametri applicativi preimpostati con compatibilità della piattaforma multi-cloud. La nuova versione include anche un migliore supporto di configurazione per ambienti Windows, un formato contenitore autonomo e una raccolta dati obsoleta dell’immagine del contenitore.


Gestione delle risorse, strumenti di programmazione, monitoraggio delle attività, analisi dei dati e sicurezza Web

Apache Mesos & Mesosphere DC / OS – Il sistema operativo Datacenter

Apache Mesos è iniziato nel 2009 all’Università della California – Berkeley con il progetto di ricerca denominato "connessione" sviluppato da Ben Hindman, Andy Konwinski, & Matel Zaharia. Al momento, Google non aveva ancora rilasciato il codice per Kubernetes al pubblico e molte aziende stavano cercando un modo per replicare il proprio "Borg" funzionalità per la gestione di data center su larga scala nelle aziende IT. Nel 2010, il trio ha tenuto una presentazione su Twitter del progetto e pubblicato un documento accademico intitolato "Mesos: una piattaforma per la condivisione di risorse a grana fine nel data center" a questo proposito. Lo stesso anno, Mesos è entrato nell’incubatore Apache su basi di licenze open source per un ulteriore sviluppo da parte dei programmatori a livello internazionale. L’uso di Mesos nella gestione di data center su larga scala è stato adottato da Twitter, eBay, PayPal e molte altre società di avvio per la distribuzione di server cluster, soddisfacendo i requisiti CI / CD nella gestione dei progetti Agile, automatizzando le attività di sistema, & pianificazione di risorse aggregate per applicazioni di produzione. Molte delle più grandi società di telecomunicazioni e IT ora usano Apache Mesos & DC / OS come standard leader del settore. Ad esempio, Microsoft lo ha distribuito come parte della suite di prodotti Azure Cloud, Apple lo utilizza per eseguire Siri con J.A.R.V.I.S, Netflix lo implementa per i requisiti di orchestrazione del contenitore di cloud Titus e Uber ha sviluppato il proprio "big data" piattaforma di analisi attorno ad esso. Apache Mesos & DC / OS sono raccomandati dai team devops in queste aziende per l’ampio Jenkins, Chef, Puppet, & Sono disponibili funzionalità di integrazione rispondenti, con la possibilità di funzionare agnosticamente sia nel cloud privato che negli ambienti cloud pubblici.

Apache Mesos & Mesosphere DC / OS - Il sistema operativo Datacenter

Mesosfera DC / OS: ‘Concetti come microservizi, containerizzazione, “dati veloci” analisi e risposta, elaborazione distribuita, raccolta e risposta dei dati marginali erano concetti rivoluzionari quando la società ha iniziato nel 2013. Basandosi su Apache Mesos, Mesosphere ha cercato di riunire tutti gli strumenti necessari per far funzionare applicazioni moderne ad alta intensità di dati come il container orchestrazione, database distribuiti, code di messaggi, streaming ed elaborazione dei dati, funzionalità di apprendimento automatico, monitoraggio e gestione, strumenti di sicurezza, automazione della distribuzione e altro. Dal suo lancio nel 2015, Mesosphere DC / OS “sistema operativo” ha semplificato l’implementazione, la connessione e il ridimensionamento elastico di oltre 100 servizi open source e commerciali con un solo clic e alla base di tutto, dalle applicazioni su scala Web, all’IoT e alle auto autonome, ai sistemi bancari e commerciali “. Ulteriori informazioni su Kubernetes su Mesosphere DC / OS.

Orchestrazione container: Docker Swarm, Kubernetes, & Maratona

Mesosphere DC / OS è estremamente flessibile secondo le linee guida per le licenze open source e modulare secondo i principi orientati agli oggetti in modo che programmatori di terze parti, team di sviluppo, & le aziende possono creare estensioni per la piattaforma che le consentono di essere personalizzato in nuovi modi. Simile a Linux, Apache Mesos funziona come "nocciolo" unificando tutte le risorse hardware del data center con il software di utilità richiesto, in cui Mesosphere DC / OS è il sistema operativo che può essere installato con diverse applicazioni sui livelli superiori. Gli stack Mesosphere DC / OS si integrano con Apache Hadoop, Spark, Cassandra, Kafka, Infinity, Velocity, Zeppelin, ecc. In modo che possano essere sviluppate nuove app Web / mobili con funzionalità che non sarebbero possibili utilizzando altri strumenti software o piattaforme di database. Mesosphere DC / OS consente di risparmiare denaro per le aziende non richiedendo loro di ricostruire ripetutamente tutti gli elementi fondamentali per la gestione dei data center sulla base del codice Apache Mesos e la piattaforma è relativamente semplice da usare "fuori dalla scatola" per una vasta gamma di diversi scenari. Per l’orchestrazione dei container, gli sviluppatori hanno la scelta dello standard container nativo Docker o Mesos che fa parte della distribuzione principale. Allo stesso modo, le organizzazioni possono scegliere di operare con Docker Swarm, Kubernetes o Marathon per la gestione dei server cluster, l’allocazione delle risorse, la pianificazione, la sincronizzazione e la gestione degli artefatti nella produzione di app Web / mobile. Marathon garantisce un’elevata disponibilità con un uptime del 100% per più runtime dei container, app stateful, rilevamento di servizi, bilanciamento del carico, controlli di integrità, abbonamento a eventi, routing IP virtuale e metriche. Mesosphere DC / OS può essere installato in data center cloud privati ​​in esecuzione con l’integrazione di VMware vSphere o OpenStack, nonché su piattaforme cloud pubbliche come AWS, Microsoft Azure e Google Cloud Engine. Con questo sistema, le aziende possono configurare le proprie risorse per supportare più team di sviluppo e distribuzioni di prodotti software con gestione delle identità, controllo degli accessi, crittografia dei dispositivi connessi a livello di cluster e riduzione dell’escalation dei privilegi.

Orchestrazione container: Docker Swarm, Kubernetes e Marathon

Microservices: "Le pipeline di dati si basano su più tecnologie strettamente collegate per avere successo. La creazione di una pipeline di dati comporta l’integrazione di varie tecnologie come i motori di analisi distribuiti (Apache Spark), le code dei messaggi distribuiti (Apache Kafka) e i sistemi di archiviazione distribuiti (Apache Cassandra). Tuttavia, molte organizzazioni hanno difficoltà a costruire e mantenere pipeline di dati perché sono estremamente complesse e comprendono più componenti che richiedono un attento funzionamento e amministrazione per ottenere il massimo valore ed evitare la perdita di dati … Le organizzazioni Web su larga scala hanno aperto la strada all’uso di un gestori di cluster di data center come Mesos di Apache per creare e mantenere in modo efficiente sistemi distribuiti complessi. Mesosphere DC / OS, basato su Apache Mesos, aiuta gli ingegneri dei dati e i team DevOps a semplificare la distribuzione e il funzionamento delle pipeline di dati su qualsiasi infrastruttura." Ulteriori informazioni sull’uso di Apache Mesos con Cassandra, Kafka, Zeppelin, & Scintilla.

Apache Mesos & Mesosphere DC / OS – Risorse

Come Apache Mesos & Mesosphere DC / OS sono stati ampiamente adottati nella gestione dei data center aziendali e nell’orchestrazione cloud per le app web / mobile, è cresciuto il numero di risorse di apprendimento sempre più numerose per amministratori di sistema, programmatori e sviluppatori che stanno cercando di lavorare con la piattaforma . I primi fra questi sono gli articoli accademici pubblicati dai fondatori che articolano i principi e la filosofia di base alla base del codice:

  • Mesos: una piattaforma per la condivisione di risorse a grana fine nel Data Center (2010)
  • Il datacenter ha bisogno di un sistema operativo (2011)
  • Omega: programmatori flessibili e scalabili per cluster di elaborazione di grandi dimensioni (2013)
  • Un’architettura per l’elaborazione rapida e generale dei dati su cluster di grandi dimensioni (2014)

Inoltre, ci sono una serie di eccellenti libri, presentazioni, video e scenari di casi d’uso sull’argomento, con GitHub il sito di risorse consigliato per accedere a codice e informazioni su progetti di terze parti che si collegano a Mesosphere DC / OS per estenderne le funzionalità.

Libri:

  • Apache Mesos Essentials – Dharmesh Kakadia (2015)
  • Big Data SMACK: una guida ad Apache Spark, Mesos, Akka, Cassandra e Kafka – Raul Estrada & Isaac Ruiz (2016)
  • Mesos in Action – Roger Ignazio (2016)
  • Sviluppare applicazioni su Mesos: sfruttare i sistemi resilienti, scalabili e distribuiti – David Greenberg (2016)
  • Cloud Native Infrastructure: modelli per infrastrutture e applicazioni scalabili in un ambiente dinamico – Justin Garrison &‎ Kris Nova (2017)

Presentazioni di diapositive:

  • Introduzione ad Apache Mesos (Thomas Barton)
  • Introduzione ad Apache Mesos (Joe Stein)
  • Scalare come Twitter con Apache Mesos

video:

  • John Wilkes – Google Faculty Summit (2011)
  • John Wilkes – Omega: programmatori flessibili e scalabili per cluster di elaborazione di grandi dimensioni (2013)
  • Pod contenitore con Docker Compose in Apache Mesos (PayPal)
  • MesosCon Europe 2017

Usa scenari di casi:

  • Uber
  • Netflix
  • Mela
  • cinguettio
  • compagnia telefonica cinese

Progetti GitHub:

  • Maratona
  • cigno
  • Fenzo (Netflix)

Apache Mesos & Mesosphere DC / OS - Risorse

Apache Mesos: "Mesos è costituito da un demone principale che gestisce i daemon degli agenti in esecuzione su ciascun nodo del cluster e dai framework Mesos che eseguono attività su questi agenti. Il master consente una condivisione approfondita delle risorse (CPU, RAM, ecc.) Tra i framework rendendoli offerte di risorse … Il master decide quante risorse offrire a ciascun framework in base a una determinata politica organizzativa, come una condivisione equa o priorità rigorosa. Per supportare una serie diversificata di politiche, il master utilizza un’architettura modulare che semplifica l’aggiunta di nuovi moduli di allocazione tramite un meccanismo di plug-in. Un framework in esecuzione su Mesos è costituito da due componenti: uno scheduler che registra le risorse offerte al master e un processo di esecuzione che viene avviato sui nodi agent per eseguire il framework’s task … Mentre il master determina quante risorse sono offerte a ciascun framework, gli scheduler dei framework selezionano quale delle risorse offerte usare. Quando un framework accetta le risorse offerte, passa a Mesos una descrizione delle attività che desidera eseguire su di esse. A sua volta, Mesos avvia le attività sugli agenti corrispondenti." Ulteriori informazioni su Apache Mesos Architecture.

Mesosphere ha ricevuto $ 122 milioni di dollari in finanziamenti di start-up dal 2013 da Microsoft, Hewlett Packard, Khosla Ventures, Andreessen Horowitz, Fuel Capital e altre aziende per continuare lo sviluppo della piattaforma DC / OS. La società ha ospitato quattro convenzioni MesosCon in Nord America, tre in Europa e due in Asia, consentendo alle aziende di presentare al pubblico le proprie applicazioni e metodi di lavoro. Segui Mesosphere su Twitter.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me