java中什么是负载均衡,java 集群
很多朋友对于java中什么是负载均衡和java 集群不太懂,今天就由小编来为大家分享,希望可以帮助到大家,下面一起来看看吧!
java 集群
群集方法介乎两种计算机系统结构之间。当把多台计算机配置或互连在一起时,可采取松散耦合或紧密耦合结构。网络就是一个松散耦合的系统,我们也称其为异类系统结构。网络把由各种CPU、应用软件、NIC(网络接口控制器)、甚至是操作系统组成的多台计算机连接在一起。计算机之间的地理距离可以近在咫尺,也可以远在天边。可以用实时和/或异步方式耦合网络。
因特网就是一个典型的极为松散与异类配置的例子。因特网本身不能“实时”控制与它连接的任何主机。在松散耦合网络中,单机崩溃一般不会影响网络的其它部分。
相反,紧密耦合系统则高度依赖于构成系统的所有部件。当系统由相同部件组成,采用并行操作方式并共享所有子系统(存储器)时,我们称其为同类系统结构。紧密耦合系统最常见的例子是SMP(对称多处理)。在SMP状态下,根据工作量的多少把任务分给几台处理器,这样可均匀地分配工作量,以便提高数据吞吐量。
我们举了两个典型的松散和紧密耦合系统的例子,群集就介于松散和紧密耦合系统之间。根据系统的配置,在某些方面(比如操作系统),群集控制的系统也许更偏向紧密耦合的系统,或者偏向松散耦合的系统(比如独立计算能力,通过公共存储器连接)。
通常群集器放在同一设备区或同一办公楼里。从理论上说,群集控制方法可应用于闭路广域网环境中(现正在美国东北部地区进行试验)。可是在考虑到视频服务器应用时,一般来说只能把设备放在主要设施运行所在地。
公共数据共享
群集允许共享几个节点的数据。在此应用中,这些节点包括客户工作站、中央或多服务器。我们知道可以通过许多路径(比如星形结构)连接节点,客户可通过不同连接的节点路径存取数据。当节点就是服务器时便可共享公共存储器,某个服务器节点故障不会导致整个群集器系统瘫痪。
在12月专栏里,我们把群集描述成一个提供高可得性的系统。对广播或有线电视操作来说,视频服务器必须要提供连续的或高可得性的数据。考虑到这一点,我们认为视频服务器体系结构采用群集是大有潜力的。
待命或无源服务器结构就是一种群集形式。在这种结构下,一个或多个服务器(或节点)平时保持在待命状态,随时可以启动。利用后台控制系统管理待命服务器内容数据。在未发生故障之前一般不启用无源服务器。
无源服务器未必就是主服务器的完全镜像,它也可以有一些有限的数据源,包括存储器,要经常清除这些数据,然后重新装入最新的节目或广告。通过这一循环过程把适量的数据(或视频媒介)保持在待命状态,在需要时随时可以上线使用。
服务器在待命状态时通常由少量的部件组成,比如编解码器,在出现故障或另一个服务器需要它支持的时候,该服务器可立即被集成到系统中应用。此时,服务器进入负载均衡状态。
数据共享
数据共享是群集器需要提供的最基本功能之一。我们还是以视频服务器的应用为例,多个编辑站在这里独立地工作,不过利用一组公共服务器来管理数据和应用层的处理。
在这个例子中,多个新闻编辑站(或客户工作站)可以选择用哪个编辑服务器(包括编辑用的软件和硬件)来进行编辑。这些服务器控制对公共媒体数据库的存取,编辑站只是这些服务器的简单控制器GUI(图形用户界面)。编辑服务器进一步控制接入另一个更大的数据存储库(通常是新闻档案)。
这个概念可通过群集软件实现。在独立的编辑站通过群集器存取数据的过程中,编辑与数据存取或存储处理自动进行,不会影响其它的客户编辑站或预放站。通过提供连续的数据可得性,每个服务器可以是有源的,也可以是无源的,视工作负荷而定。假如有一个服务器发生了故障,该结构也可提供冗余或保护方式。
共享一个操作系统和平台是群集的又一个共同特点。让硬件与软件平台同属一类,也就是说,基本上是相同的,就可采用公用互连方案与公共文件格式结构。在SMP这样的系统中,所有部件都依赖于公用硬件而像单独部件一样运行。正如我们已提到的,群集可以让一部分系统保持同类结构,但脱离所有系统都有的依赖性,其它性能就会下降。
其它优点
我们现在还是回到基于群集服务器的编辑环境中来,我们又发现了其它一些优点。服务器硬件具有的冗余性可对数据起保护作用。在新闻编辑环境中,当即将播放时,一个或更多的服务器便可将客户工作站的功能变成播出功能,直接把新闻播出去。这样还能让所有客户和服务器接入别的服务器的数据,包括在最后一分钟直接存取中央存储库的数据。
通过使用多个服务器(每个服务器收集、编辑、存档和重放的资源是一个类型的),系统便可对硬件进行备份。在某个服务器出现故障时,可把资源转给或分给其它用户,系统的其余部分仍继续工作。
除了上述的数据共享外,其它群集器结构也是可行的。在有些情况下,某些资源可被一个特定的节点“拥有”,在未接到指令前不会放弃。可将该系统的结构配置成一个节点有多个输入编码器,但只有一个输出解码器。另一个节点可能没有输入,但有好几个输出供放像和预看用。如果某一个节点出现故障,可让与它相对应的节点顶替它,直到它被修复为止。
非共享结构
从硬件上说,每个节点的能力(或资源)基本上相同,但内部系统配置是用各种形式锁定的,除非另有要求。按照群集语言可把此结构
叫做非共享结构。在此结构里,某些资源在未被传送给其它节点或者该节点未出故障之前归一个节点所有。在采用非共享结构的计算机与模式里运用群集法通常会把硬盘等设备分配给一个节点,并阻止其他人使用它,除非将其开放或该节点发生故障。
群集结构的其它实施方面增加了系统的复杂程度。除了非共享结构外(只提供最简单的性能和可得性),还有磁盘共享结构。磁盘共享可提高存储接入不同主机系统的能力。
从硬件的角度看,系统的磁盘阵列控制器可以很容易地管理这个共享结构。比较难办的是在最低级别(文件或记录层)上协调更新数据。
协调工作必须成为群集软件的一部分。可以设想一下,如果两个用户同时接入同一记录层会发生什么情况。假定每个用户都修改了文件。用户1先把数据写入服务器,他发现用户2做了完全不同的修改并且把修改后的文件用同一文件名存入相同的磁盘,或许存在另一个服务器上,这样就有可能把第一个用户修改的文件冲掉。没有一个控制方案,就会乱成一团。
尽管每个文件或记录层都有简单的口令或锁定保护,但要确保用文件的正确版本存成另一个文件名或是“正式”版,则要求具有更高层的数据控制与管理能力。磁盘快速缓存问题又是另一种情形,我们等一会儿再说。
另一个防止错误数据覆盖正确数据的方法是在修改未最后定之前限制接入某一特定文件。在计算机数据域中,用一个称为信息传送的程序通知管理员(通常是应用后台软件的一部分)文件存取被锁定,直到修改程序结束为止。
原子操作
原子操作的三个步骤是:读数据、修改数据、然后重新写入新数据。在原子操作过程中,在未执行完操作之前不会受到任何干扰。还必须有其他保护措施,以防隐藏的备份文件在以后某个无法预测的时间改写其它的文件。
当数据分布在不止一个存储磁盘上时,或者当公共存储阵列中的数据被不同用户在不同时间存取时,如何防止数据不一致是群集软件需要解决的又一个问题。无论是通过硅缓存器还是通过远程接入的临时磁盘缓存器(甚至分区)进行高速缓存都会遇到定时和同步的问题。我们把这个问题叫做缓存相关性,它是因磁盘驱动器定时问题引起的。
磁盘驱动器并不一定能马上写入数据,磁头也许定位在错误的磁道上,导轮也许偏离相位190度,等结束运转后才能开始磁头的写入操作,或许还因为温度问题造成暂时性延缓,直到一切都符合条件为止。
这通常被称为等待时间,磁盘驱动器的机械部分要求在驱动器等待写入时暂存一下数据。最常见的方法是在驱动器上安一个硅缓存器,这个过程被叫做写回高速缓存。在把主机储存器中的数据转存到磁盘驱动器的过程中,设一个写回缓存器标识,对数据源表示写入程序成功了。实际上,得过一会儿才能开始真正的电磁机械式的数据储存过程。
假如系统上的另一个节点也从这个驱动器读数据,(这是经过许可的操作,因为数据发生器已接到通知,新数据已发送到了这个位置),那么缓存器已在指定位置存储了正确新数据的指示信号就不见了。我们用失效数据一词来表示未更新数据进入新数据区的状态。
无效数据
RAID控制器在各自磁盘阵列的写回缓存器里为与这个特殊的阵列有关的磁盘管理失效数据。假如在软件里设一些适当的开关来检测和阻止它发生,那么数据相关性就只是一个小问题了。
当系统是由多层阵列构成的时候,控制失效数据问题的任务就交给高级别软件去完成,把信号传送给各自的阵列,就不会发生孤立或失效数据问题了。
在这个简化的单一视频服务器模型里,媒体是通过单编码器输入的,并存在一个单实体阵列上。由一个更高级别(通常是第三方API,应用程序接口)登记和管理活动图像数据。通常将其作为任选的“媒体管理”或“资产管理器”包出售。通过这个软件,控制活动图像和数据的过程成为一个闭路过程,因为输入与输出指令必须通过这个管理软件包。该软件在自己的数据库里始终跟踪着数据的有效性。
如果有好几个服务器,每个服务器有自己的任务,情况就变得比较复杂了。这时可以让几个信号源的输入进入不同的编码器,并存在一个较大的磁盘阵列里。这些阵列通常与光纤通道仲裁环相连,由于它的连接方式决定,它可迫使部分重写动作由服务器推迟到存储器,直到有了充足的带宽来把该数据从这个存储器存入另一个存储器。
在类似的应用中,媒体管理软件就更完善,更必不可少了。有时候制造商会提供一个完全独立的CPU和资源管理软件包(作为选件)。这个软件包就像看门狗那样管理服务器之间的数据共享操作。除了这些基本概念外,还有大量的定时和数据验证问题,这些问题会经常在服务器结构的软件与子系统中碰到。
群集的过程和功能正在扩展到设备内和设备间应用中。群集器理念最终将允许整个广播集团通过光纤或通过广域网共享资源。虽然可以让设施连成网共享媒介,可是在这些设施相互离得很远的情况下实现节点资源共享的设想似乎还很遥远。
java 是什么语言写的
java是什么语言写的
JAVA中就虚拟机是其它语言开发的,用的是C语言+汇编语言基于此之上就是JAVA本身了虚拟机只起到解析作用
另外,JAVA并不比C语言慢,说JAVA慢一般是九十年代那时候的JAVA,而现在在一段优秀的JAVA程序和C程序执行效率上来比较是没有多大差距的并且现在JAVA已经可以像C语言那样,直接编译为可执行文件(不用虚拟机,跨平台为代价)了
不知道你看过卓越编程之道二(运用底层思维编写高级代码)没有,那里面详细的讲述了高级语言从编写到编译执行的过程,通过目标文件的反汇编对比,发现C,C++,JAVA,dephi等语言在同等质量下的目标文件长度上基本上没多大区别,一门语言的运行速度快慢,与你编写代码过程中是否符合编译器规则息息相关。有空你可以去看看这本书。
glusterfs是什么语言写的glusterfs是什么语言写的
使用opencv需要编译源码,得到库文件。可以用cmake构建项目后编译,也可以直接用官方提供的编译好的版本。
官方提供的编译库一般只是标准版本,没有附加某些库,比如tbb等,要想让opencv使用tbb等库,就只能自己构建项目后编译。
当然,一般使用的话,用官方提供的库即可。OpenCV2.3.1版本就提供编译好的库,可以直接设置使用。
bigtable是什么语言写的不过有人大费周折为他建立了一个类似于“关于 Chuck Norris的事实”这样的网站,这倒是件不同寻常的事。这是因为 Jeff Dean是一位软件工程师
zookeeper是什么语言写的本文是Jason Wilder对于常见的服务发现项目 Zookeeper, Doozer, Etcd所写的一篇博客,其原文地址如下: Open-Source Service Discovery。
服务发现是大多数分布式系统以及面向服务架构(SOA)的一个核心组成部分。这个难题,简单来说,可以认为是:当一项服务存在于多个主机节点上时,client端如何决策获取相应正确的IP和port。
在传统情况下,当出现服务存在于多个主机节点上时,都会使用静态配置的方法来实现服务信息的注册。但是当大型系统中,需要部署更多服务的时候,事情就显得复杂得多。在一个实时的系统中,由于自动或者人工的服务扩展,或者服务的新添加部署,还有主机的宕机或者被替换,服务的location信息可能会很频繁的变化。
在这样的场景下,为了避免不必要的服务中断,动态的服务注册和发现就显得尤为重要。
关于服务发现的话题,已经很多次被人所提及,而且也的确不断的在发展。现在,笔者介绍一下该领域内一些open-source或者被经常被世人广泛讨论的解决方案,尝试理解它们到底是如何工作的。特别的是,我们会较为专注于每一个解决方案的一致性算法,到底是强一致性,还是弱一致性;运行时依赖;client的集成选择;以后最后这些特性的折中情况。
本文首先从几个强一致性的项目于开始,比如Zookeeper,Doozer,Etcd,这些项目主要用于服务间的协调,同时又可用于服务的注册。
随后,本文将讨论一些在服务注册以及发现方面比较有意思的项目,比如:Airbnb的SmartStack,Netflix的Eureka,Bitly的NSQ,Serf,Spotify and DNS,最后是SkyDNS。
问题陈述
在定位服务的时候,其实会有两个方面的问题:服务注册(Service Registration)和服务发现(Service Discovery)。
服务注册——一个服务将其位置信息在中心注册节点注册的过程。该服务一般会将它的主机IP地址以及端口号进行注册,有时也会有服务访问的认证信息,使用协议,版本号,以及关于环境的一些细节信息。
服务发现—— client端的应用实例查询中心注册节点以获知服务位置的过程。
每一个服务的服务注册以及服务发现,都需要考虑一些关于开发以及运营方面的问题:
监控——当一个已注册完毕的服务失效的时候,如何处理。一些情况下,在一个设定的超时定时(timeout)后,该服务立即被一个其他的进程在中心注册节点处注销。这种情况下,服务通常需要执行一个心跳机制,来确保自身的存活状态;而客户端必然需要能够可靠处理失效的服务。
负载均衡——如果多个相同地位的服务都注册完毕,如何在这些服务之间均衡所有client的请求负载?如果有一个master节点的话,是否可以正确处理client访问的服务的位置。
集成方式——信息注册节点是否需要提供一些语言绑定的支持,比如说,只支持Java?集成的过程是否需要将注册过程以及发现过程的代码嵌入到你的应用程序中,或者使用一个类似于集成助手的进程?
运行时依赖——是否需要JVM,ruby或者其他在你的环境中并不兼容的运行时?
可用性考虑——如果系统失去一个节点的话,是否还能正常工作?系统是否可以实时更新或升级,而不造成任何系统的瘫痪?既然集群的信息注册节点是架构中的中心部分,那该模块是否会存在单点故障问题?
强一致性的Registries
首先介绍的三个服务注册系统都采用了强一致性协议,实际上为达到通用的效果,使用了一致性的数据存储。尽管我们把它们看作服务的注册系统,其实它们还可以用于协调服务来协助leader选举,以及在一个分布式clients的集合中做centralized locking。
Zookeeper
Zookeeper是一个集中式的服务,该服务可以维护服务配置信息,命名空间,提供分布式的同步,以及提供组化服务。Zookeeper是由Java语言实现,实现了强一致性(CP),并且是使用 Zab协议在ensemble集群之间协调服务信息的变化。
Zookeeper在ensemble集群中运行3个,5个或者7个成员。众多client端为了可以访问ensemble,需要使用绑定特定的语言。这种访问形式被显性的嵌入到了client的应用实例以及服务中。
服务注册的实现主要是通过命令空间(namespace)下的 ephemeral nodes。ephemeral nodes只有在client建立连接后才存在。当client所在节点启动之后,该client端会使用一个后台进程获取client的位置信息,并完成自身的注册。如果该client失效或者失去连接的时候,该ephemeral node就从树中消息。
服务发现是通过列举以及查看具体服务的命名空间来完成的。Client端收到目前所有注册服务的信息,无论一个服务是否不可用或者系统新添加了一个同类的服务。Client端同时也需要自行处理所有的负载均衡工作,以及服务的失效工作。
Zookeeper的API用起来可能并没有那么方便,因为语言的绑定之间可能会造成一些细小的差异。如果使用的是基于JVM的语言的话, Curator Service Discovery Extension可能会对你有帮助。
由于Zookeeper是一个CP强一致性的系统,因此当网络分区(Partition)出故障的时候,你的部分系统可能将出出现不能注册的情况,也可能出现不能找到已存在的注册信息,即使它们可能在Partition出现期间仍然正常工作。特殊的是,在任何一个non-quorum端,任何读写都会返回一个错误信息。
Doozer
Doozer是一个一致的分布式数据存储系统,Go语言实现,通过 Paxos算法来实现共识的强一致性系统。这个项目开展了数年之后,停滞了一段时间,而且现在也关闭了一些fork数,使得fork数降至160。.不幸的是,现在很难知道该项目的实际发展状态,以及它是否适合使用于生产环境。
Doozer在集群中运行3,5或者7个节点。和Zookeeper类似,Client端为了访问集群,需要在自身的应用或者服务中使用特殊的语言绑定。
Doozer的服务注册就没有Zookeeper这么直接,因为Doozer没有那些ephemeral node的概念。一个服务可以在一条路径下注册自己,如果该服务不可用的话,它也不会自动地被移除。
现有很多种方式来解决这样的问题。一个选择是给注册进程添加一个时间戳和心跳机制,随后在服务发现进程中处理那些超时的路径,也就是注册的服务信息,当然也可以通过另外一个清理进程来实现。
服务发现和Zookeeper很类似,Doozer可以罗列出指定路径下的所有入口,随后可以等待该路径下的任意改动。如果你在注册期间使用一个时间戳和心跳,你就可以在服务发现期间忽略或者删除任何过期的入口,也就是服务信息。
和Zookeeper一样,Doozer是一个CP强一致性系统,当发生网络分区故障时,会导致同样的后果。
Etcd
Etcd是一个高可用的K-V存储系统,主要应用于共享配置、服务发现等场景。Etcd可以说是被Zookeeper和Doozer催生而出。整个系统使用Go语言实现,使用Raft算法来实现选举一致,同时又具有一个基于HTTP+JSON的API。
Etcd,和Doozer和Zookeeper相似,通常在集群中运行3,5或者7个节点。client端可以使用一种特定的语言进行绑定,同时也可以通过使用HTTP客户端自行实现一种。
服务注册环节主要依赖于使用一个key TTL来确保key的可用性,该key TTL会和服务端的心跳捆绑在一起。如果一个服务在更新key的TTL时失败了,那么Etcd会对它进行超时处理。如果一个服务变为不可用状态,client会需要处理这样的连接失效,然后尝试另连接一个服务实例。
服务发现环节设计到罗列在一个目录下的所有key值,随后等待在该目录上的所有变动信息。由于API接口是基于HTTP的,所以client应用会的Etcd集群保持一个long-polling的连接。
由于Etcd使用 Raft一致性协议,故它应该是一个强一致性系统。Raft需要一个leader被选举,然后所有的client请求会被该leader所处理。然而,Etcd似乎也支持从non-leaders中进行读取信息,使用的方式是在读情况下提高可用性的未公开的一致性参数。在网络分区故障期间,写操作还是会被leader处理,而且同样会出现失效的情况。
delphi是什么语言写的Object Pascal
jdk是什么语言写的你猜~~
druid是什么语言写的Druid是Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。
EPM和BI是什么啊?是用java语言写的吗?不全是java,epm有用.写的,但是绝大多少是用java。
BI设计到大数据,除了java还有一些新技术,比如scala和kalfka。
dos是什么语言写的?汇编语言,低级编辑语言
Api是什么语言写的?API肯定也是一种语言实现他具体功能的啊.
相当于函数,不过我们只能调用,不知道如何实现的.
java工程师需要掌握哪些知识
1、语法:必须比较熟悉,在写代码的时候,IDE(Integrated Development Environment,集成开发环境)的编辑器对某一行报错应该能够根据报错信息知道是什么样的语法错误,并且知道任何修正。
2、命令:必须熟悉JDK(Java Development Kit,Java开发工具箱——JDK是整个Java的核心,包括了Java运行环境,Java工具和Java基础的类库。JDK是学好Java的第一步。)带的一些常用命令及其常用选项,命令至少需要熟悉:appletviewer、HtmlConverter、jar、 java、javac、javadoc、javap、javaw、native2ascii、serialver,如果这些命令你没有全部使用过,那么你对java实际上还很不了解。
3、工具:必须至少熟练使用一种IDE的开发工具,例如Eclipse、Netbeans、JBuilder、Jdeveloper、IDEA、JCreator或者Workshop,包括进行工程管理、常用选项的设置、插件的安装配置以及进行调试。
4、API(Application Programming Interface,应用程序编程接口):Java的核心API是非常庞大的,但是有一些内容笔者认为是必须熟悉的,否则不可能熟练的运用Java,包括:
◆java.lang包下的80%以上的类的功能的灵活运用。
◆java.util包下的80%以上的类的灵活运用,特别是集合类体系、规则表达式、zip、以及时间、随机数、属性、资源和Timer.
◆java.io包下的60%以上的类的使用,理解IO体系的基于管道模型的设计思路以及常用IO类的特性和使用场合。
◆java.math包下的100%的内容。
◆java.net包下的60%以上的内容,对各个类的功能比较熟悉。
◆java.text包下的60%以上的内容,特别是各种格式化类。
◆熟练运用JDBC. 80%、java.security包下40%以上的内容,如果对于安全没有接触的话根本就不可能掌握java.
◆AWT的基本内容,包括各种组件事件、监听器、布局管理器、常用组件、打印。
◆Swing的基本内容,和AWT的要求类似。
◆XML处理,熟悉SAX、DOM以及JDOM的优缺点并且能够使用其中的一种完成XML的解析及内容处理。
5、测试:Junit测试是程序员测试,即所谓白盒测试。一位合格的Java开发工程师必须熟悉使用junit编写测试用例完成代码的自动测试。
6、管理:必须熟悉使用Ant(中文译为蚂蚁,是一种基于Java的build工具。)完成工程管理的常用任务,例如工程编译、生成javadoc、生成jar、版本控制、自动测试。
7、排错:应该可以根据异常信息比较快速的定位问题的原因和大致位置。
8、思想:必须掌握OOP(Object Oriented Programming,面向对象编程)的主要要求,这样使用Java开发的系统才能是真正的Java系统。
9、规范:编写的代码必须符合流行的编码规范,例如类名首字母大写,成员和方法名首字母小写,方法名的第一个单词一般是动词,包名全部小写等,这样程序的可读性才比较好。
10、博学:掌握J2EE、Oracle、WebLogic、Jboss、Spring、Struts、Hibernate等流行技术,掌握软件架构设计思想、搜索引擎优化、缓存系统设计、网站负载均衡、系统性能调优等实用技术。
关于java中什么是负载均衡到此分享完毕,希望能帮助到您。