分布式系统

• 存储系统
  • GFS HDFS
• 计算系统
  • 批处理：MapReduce
  • 流处理：Storm
• 节点关系
  • 主从式
  • 对等式

网络硬件

分布式系统运行在网络之上

• 以太网
• 因特网

网络服务和协议

• 面向连接与无连接
• 数据流与数据包

前端技术

• MVC框架
• 反向代理
  • nginx
  • vanish
• 负载均衡
  • dns
  • 硬件：F5
  • 软件：LVS

分布式中间件

• 分布式同步服务中间件
  • 分布式一致性协议：paxos raft ark npc
  • chubby
  • zookeeper
• 关系型数据库访问中间件
  • 客户端转发
  • 服务端转发
  • mysql 代理
  • cobar
    • mycat
  • sharding jdbc
• 分布式服务调用中间件
  • dubbo dubbox
  • protocol buffers
    • 一个语言平台无关的序列化反序列化库
  • grpc
  • thrift
  • motan
• 分布式消息服务中间件
  • kafka
• 分布式跟踪服务中间件
  • dapper
  • zipkin
  • pinpoint
  • 鹰眼

分布式存储服务

分布式文件系统

业界的一些分布式文件系统

• GFS
• HDFS
  • 大文件
• TFS
  • 海量小文件

设计

• 传输模式

• 目录层次

需要有一种唯一的目录文件命名方式，如 /server/path/file.txt

• 命名透明性
  • 位置透明性：文件以一个唯一的url暴露出去，但在服务器内部可以随意移动
  • 位置独立性：当文件在服务器之间转移时，url仍不必变化
• 文件共享语义 当文件被并发使用 需要考虑顺序一致性等问题

NoSQL数据库

NoSQL 方案带来的优势，本质上是牺牲 ACID 中的某个或者某几个特性, NoSQL 只是 SQL 的一个有力补充

• 牺牲C 选择AP
• 基于键值对
  • LevelDB
  • Tair
  • Dynamo
  • Memcached
  • Redis
  • Berkeley DB
• 基于列 优势场景是在读取某列的所有数据时
  • Bigtable
  • HBase
  • Cassandra
• 基于文档 最大的特点就是 no-schema，可以存储和读取任意的数据
  • MongoDB
  • CouchDB
  • RethinkDB
• 全文搜索引擎
  • ElasticSearch
  • Solr
• 基于图
  • Neo4j
• 时间序列
  • influxDB

NewSQL

关系型数据库与NoSQL的融合

• Megastore
• Spanner
• F1
• OceanBase

构建思想

• 云化
  • 虚拟化技术
  • 分布式
• 一切都可能失败与冗余思想
  • 多节点 主从架构 分片
• 水平扩展
  • 数据：分片
  • 服务： 集群 负载均衡
  • 数据中心：异地主从 异地多活
• 尽可能简单
  • 组件数量
  • 服务依赖
  • 架构
  • 设计
• 异步化削峰填谷解耦
• 最终一致性
• 微服务思想
• 服务跟踪
• 资源池化

思考

• 大型互联网公司架构共性