当前位置:Gxlcms > mysql > 解析MapReduce原理–笔记(9)hadoopRPC基础

解析MapReduce原理–笔记(9)hadoopRPC基础

时间:2021-07-01 10:21:17 帮助过:55人阅读

基本概念 模块 RPC 通常采用客户机/服务器模型。请求程序是客户机,服务提供程序则是一个服务器。包括以下几个模块 通信模块:两个相互协作的通信模块实现请求-应答协议。同步方式和异步方式。 Stub程序:客户端和服务器端均包含Stub程序,代理程序。它使得

基本概念
模块
RPC通常采用客户机/服务器模型。请求程序是客户机,服务提供程序则是一个服务器。包括以下几个模块
通信模块:两个相互协作的通信模块实现请求-应答协议。同步方式和异步方式。
Stub程序:客户端和服务器端均包含Stub程序,代理程序。它使得远程函数调用表现的跟本地调用一样,对用户程序完全透明。
在客户端,它表现的就像一个本地程序,但不直接执行本地调用,而是将请求信息通过网络模块发送给服务器端。
在服务器端,解码请求消息中的参数,调用相应的服务过程和编码应答结果的返回值。
调度程序:接收来自通信模块的请求消息,并根据其中的标识选择一个Stub程序处理。线程池处理。
客户程序/服务过程:请求的发出者和请求的处理者。
步骤
1.客户程序以本地方式调用系统产生的Stub程序。
2.该Stub程序将函数调用信息按照网络通信模块的要求封装成消息包。并交给通信模块发送到远程服务器端。
3.远程服务器端接收此消息后,将此消息发送给相应的Stub程序。
4.Stub程序拆封消息,形成被调过程要求的形式,并调用对应的函数。
5.被调用函数按照所获参数执行,并将结果返回给Stub程序。
6.Stub程序将此结果封装成消息,通过网络通信模块逐级地传送给客户程序。

HadoopRPC
接口:

public static VersionedProtocol getProxy/waitForProxy():构造一个客户端代理对象,用于向服务器发送RPC请求。public static Server getServer():为某个协议示例构造一个服务器对象,用于处理客户端发送的请求。

步骤:
1.定义RPC协议。RPC协议是客户端与服务器端之间的通信接口,它定义了服务器端对外提供的服务接口。interface ClientProtocol extends org.apache.hadoop.ipc.VersionedProtocol{public static final long versionID=1L;String echo(String value) throws IOException;int add(int v1,int v2) throws IOException;}2.实现RPC协议。public static class ClientProtocolImpl implements ClientProtocl{public long getProtocolVersion(String protocol,long clientVersion){return ClientProtocol.versionID ;}public String echo(String value) throws IOException{return value;}public int add(int v1,int v2) throws IOException{return v1+v2;}}3.构造并启动RPC Serverserver = RPC.getServer(new ClientProtocolImpl(),serverHost,serverPort,numHandlers,false,conf);//numHandlers表示服务器端处理请求的线程数目。server.start();4.构造RPC Client,并发送RPC请求。proxy = (ClientProtocol)RPC.getProxy(ClientProtocol.class,ClientProtocol.versionID,addr,conf);int result = proxy.add(4,5);String echoResult = proxy.echo("hello");

人气教程排行