Dies ist der dritte Beitrag in der Reihe, der die wichtigsten Open-Source-Projekte der beliebtesten Unternehmen der Welt umfasst. Heute berichten wir über Netflix, das eine unglaubliche Open Source-Kultur hat. Um zu verstehen, was sie in Open Source tun, werfen Sie einen Blick auf ihr GitHub Repo. Sie haben über 50 Open Source-Projekte veröffentlicht, weitere sind in Vorbereitung. Sie veranstalten auch regelmäßig öffentliche NetflixOSS-Meetups in der Bay Area.

Netflix nutzt sowohl Open-Source-Technologien als auch die Bereitstellung von Open Source-Technologien, die auf die Bereitstellung des führenden Internet-TV-Netzwerks ausgerichtet sind. Ihre Technologie konzentriert sich darauf, auf allen mit dem Internet verbundenen Bildschirmen ein beeindruckendes Erlebnis zu bieten. Die Bereitstellungstechnologie von Netflix ermöglicht die kontinuierliche Erstellung und Integration in ihre weltweiten Bereitstellungen für Mitglieder in über 50 Ländern. Ihr Fokus auf Zuverlässigkeit definierte die Messlatte für cloudbasierte elastische Bereitstellungen mit mehreren Failover-Schichten. Netflix bietet auch die Technologie, mit der Dienstverantwortung mit betrieblichen Erkenntnissen, Spitzenleistung und Sicherheit betrieben werden kann. Diese Liste der Top-Netflix-Open-Source-Projekte deckt die drei folgenden Kategorien ab: Big Data, Build- und Bereitstellungstools, Common Runtime-Dienste und -Bibliotheken, Datenpersistenz, Zuverlässigkeit und Leistung sowie Sicherheit.

Informieren Sie uns nacheinander über die wichtigsten Open-Source-Projekte von Netflix:

Top Netflix Open Source-Projekte - Big Data

Genie

Genie ist eine föderierte Jobausführungs-Engine, die REST-APIs für die Ausführung einer Vielzahl von Big-Data-Jobs wie Hadoop, Pig, Hive, Presto, Sqoop usw. bietet. Es bietet auch APIs zum Verwalten vieler Clusterkonfigurationen mit verteiltem Verarbeitungsprozess sowie der darauf ausgeführten Befehle und Anwendungen.

Inviso

Inviso ist eine Schnittstelle zum Suchen und Visualisieren von Hadoop-Jobs, Job-Leistung und Cluster-Nutzungsdaten.

Lippenstift

Lippenstift ist ein Gottprojekt für Schweineentwickler. Es kombiniert eine grafische Darstellung eines Pig-Workflows mit Informationen über den Job während der Ausführung. Dies gibt den Entwicklern Einblick, dass zuvor ein umfangreiches Durchsuchen der Protokolle (oder eines Pig-Experten) erforderlich war.

Aegisthus

Aegisthus ermöglicht die Massenabstraktion von Daten aus Cassandra für die nachgelagerte analytische Verarbeitung. Dazu wird ein Reader für das SSTable-Format implementiert und ein Map / Reduction-Programm bereitgestellt, um eine komprimierte Momentaufnahme der in einer Spaltenfamilie enthaltenen Daten zu erstellen.

Hier ging es um die Big Data-Top-Netflix-Open-Source-Projekte. Lassen Sie uns Build- und Recovery-Tools besprechen:

Top Netflix Open Source-Projekte - Build- und Bereitstellungstools

Nebel

Nebula ist eine Sammlung von Gradle-Plugins, die von Netflix Open Source zur Verfügung gestellt wurde, um die interne Build-Infrastruktur für die Öffentlichkeit zugänglich zu machen. Die Nebula-Plugins-Organisation wurde gegründet, um die Erstellung, Verwaltung und Veröffentlichung von Gradle-Plugins zu erleichtern. Dies geschieht durch die Bereitstellung eines Speicherplatzes für Host-Plugins in SCM, CI und einem Repository.

Asgard

Asgard ist ein webbasiertes Tool zum Verwalten von Cloud-basierten Anwendungen und Infrastruktur. Asgard hilft Netflix dabei, Hunderte von Anwendungen und Services in der Amazon Cloud zu erstellen und bereitzustellen. Asgard ist unter der Apache-Lizenz Version 2.0 veröffentlicht. Bitte zögern Sie nicht, das Projekt zu formen und Verbesserungen daran vorzunehmen.

Top Netflix Open Source-Projekte - Allgemeine Laufzeitdienste und -bibliotheken

Hystrix

Hystrix ist eine Bibliothek zur Latenz- und Fehlertoleranz, die Zugriffspunkte auf Remote-Systeme, -Dienste und -Bibliotheken von Drittanbietern isoliert, kaskadierende Fehler unterbindet und in komplexen verteilten Systemen, in denen ein Ausfall unvermeidlich ist, Ausfallsicherheit bietet. In einer verteilten Umgebung schlagen unvermeidlich einige der vielen Dienstabhängigkeiten fehl. Hystrix ist eine Bibliothek, mit der Sie die Interaktionen zwischen diesen verteilten Diensten steuern können, indem Sie Latenz- und Fehlertoleranzlogik hinzufügen. Hystrix tut dies, indem es die Zugangspunkte zwischen den Diensten isoliert, kaskadierende Fehler über sie hinweg stoppt und Fallback-Optionen bietet, die alle die Ausfallsicherheit Ihres Systems insgesamt verbessern.

Karyon

Karyon ist ein Framework und eine Bibliothek, die im Wesentlichen den Bauplan für die Implementierung eines Cloud-fähigen Web-Service enthalten. Alle anderen feinkörnigen Web-Services und -Anwendungen, die den SOA-Graphen von Netflix bilden, können im Wesentlichen als von diesem Basisplan aus geklont betrachtet werden.

Turbine

Turbine ist ein Tool zum Aggregieren von Streams von Server-Sent Event (SSE) -JSON-Daten in einem einzigen Stream. Der angestrebte Anwendungsfall sind Metrikströme von Instanzen in einer SOA, die für Dashboards aggregiert werden. Netflix verwendet Hystrix, das über ein Echtzeit-Dashboard verfügt, in dem Daten von Hunderten oder Tausenden von Maschinen mit Turbine gesammelt werden.

Top Netflix Open Source-Projekte - Datenpersistenz

EVCache

EVCache ist eine auf Zwischenspeicherung basierende Zwischenspeicherlösung auf Zwischenspeicherungsbasis, die hauptsächlich für die AWS EC2-Infrastruktur zum Zwischenspeichern häufig verwendeter Daten verwendet wird.

Dynomit

Dynomite ist eine generische Dynamo-Implementierung für verschiedene k-v-Speicher-Engines.

Astyanax

Astyanax ist ein High-Level-Java-Client für Apache Cassandra. Apache Cassandra ist eine hochverfügbare spaltenorientierte Datenbank. Es leiht sich viele Konzepte von Hector, divergiert jedoch bei der Implementierung des Verbindungspools und der Client-API. Eine der wichtigsten Überlegungen beim Entwurf war die Bereitstellung einer sauberen Abstraktion zwischen dem Verbindungspool und der Cassandra-API, so dass jeder separat angepasst und verbessert werden kann. Astyanax bietet eine fließende API, mit der der Aufrufer die Abfrage von Schlüssel zu Spalte eingrenzen kann und Abfragen für komplexere Anwendungsfälle bereitstellt, auf die Netflix gestoßen ist. Die betrieblichen Vorteile von Astyanax gegenüber Hector umfassen eine niedrigere Latenzzeit, geringere Latenzvarianz und eine bessere Fehlerbehandlung.

Es ging um die Datenpersistenz-Top-Open-Source-Projekte von Netflix. Lassen Sie uns über Sichtbarkeit, Zuverlässigkeit und Leistungstools sprechen:

Top Netflix Open Source-Projekte - Einblick, Zuverlässigkeit und Leistung

Atlas

Atlas wird zum Verwalten von Dimensionszeitreihendaten verwendet, um betriebliche Einblicke in Echtzeit zu ermöglichen. Atlas bietet In-Memory-Datenspeicher, mit dem sehr schnell sehr viele Messdaten erfasst und gemeldet werden können. Es wurde in erster Linie zur Behebung von Problemen mit Skalierungs- und Abfragefunktionen im vorherigen System erstellt.

Eis

Ice bietet eine Vogelperspektive unserer großen und komplexen Wolkenlandschaft aus Verbrauchs- und Kostenperspektive. Cloud-Ressourcen werden dynamisch von Dutzenden Serviceteams innerhalb der Organisation bereitgestellt, und statische Momentaufnahmen der Ressourcenzuteilung sind von begrenztem Wert. Die Möglichkeit, Nutzungsmuster auf globaler Ebene zu bestimmen und sie in eine Region, Verfügbarkeitszone oder ein Serviceteam zu zerlegen, bietet unglaubliche Flexibilität.Mit Ice können wir unseren AWS-Fußabdruck quantifizieren und fundierte Entscheidungen in Bezug auf den Kauf von Reservierungskäufen und die Neuzuweisung von Ressourcen treffen.

Simian-Armee

Die Simian-Armee ist eine Suite von Tools, mit denen Sie Ihre Cloud in Topform halten können. Simian Army besteht aus Diensten (Monkeys) in der Cloud, um verschiedene Arten von Fehlern zu erzeugen, anormale Zustände zu erkennen und unsere Überlebensfähigkeit zu testen. Ziel ist es, die Cloud sicher und hochverfügbar zu halten. Zurzeit sind die Affen Chaos Monkey, Janitor Monkey und Conformity Monkey.

Lassen Sie uns nach Analyse- und Leistungsprojekten über die wichtigsten Open-Source-Netflix-Projekte im Sicherheitsbereich sprechen:

Top Netflix Open Source-Projekte - Sicherheit

Sicherheits-Affe

Security Monkey überwacht Richtlinienänderungen und Warnungen bei unsicheren Konfigurationen in einem AWS-Konto. Es erweist sich auch als nützliches Werkzeug zum Aufspüren potenzieller Probleme, da es im Wesentlichen ein Änderungsverfolgungssystem ist.

Scumblr

Scumblr ist eine Webanwendung, mit der periodische Suchen durchgeführt und Aktionen für die ermittelten Ergebnisse gespeichert werden können. Scumblr sucht mit Hilfe von Plugins Suchanbieter. Jeder Suchanbieter kann eine Suche über eine bestimmte Website oder ein bestimmtes API (Google, Bing, eBay, Pastebin, Twitter usw.) durchführen. Suchvorgänge können in Scumblr basierend auf den vom Suchanbieter verfügbaren Optionen konfiguriert werden.

Nachrichtensicherheitsschicht

Message Security Layer (MSL) ist ein erweiterbares und flexibles sicheres Messaging-Framework, mit dem Daten zwischen zwei oder mehr kommunizierenden Einheiten transportiert werden können. Daten können auch bestimmten Benutzern zugeordnet sein und auf Wunsch als vertraulich oder nicht abspielbar behandelt werden.

Die obige Liste der wichtigsten Open-Source-Projekte von Netflix wurde mit Eingaben von Netflix OSS erstellt.

Nutzen Sie unseren Kommentarbereich unten, um Ihre Ansichten zu teilen. Teilen Sie uns mit, wenn wir ein beliebtes Open-Source-Projekt von Netflix in unserer Liste verpasst haben.

Weitere Artikel zu Open Source-Projekten finden Sie hier.

Arbeitete Für Sie: Robert Gaines & George Fleming | Möchten Sie Uns Kontaktieren?

Kommentare Auf Der Website: