详解Python如何与 java高效的交互
问题背景
项目过程中可能会遇到,java 从数据库取了很多数据,但 java 本身不方便处理,所以传递给 python 去处理,如何传?
解决方法
调研了一些方法,譬如可以直接在 java 中调研 python,传入参数的方式,或者数据先存储到 excel 中,然后 python 去 excel 中读取,但是这些方法还是存在不便利和性能会有限制。之后,我尝试了增加个 rabbitmq 消息中间件进行不同语言之间的通信交互。
MQ 是消费 - 生产者模型的一个典型的代表,一端往消息队列中不断写入消息,而另一端则可以读取或者订阅队列中的消息。MQ 和 JMS 类似,但不同的是 JMS 是 SUN JAVA 消息中间件服务的一个标准和 API 定义,而 MQ 则是遵循了 AMQP 协议的具体实现和产品。RabbitMQ 是一个在 AMQP 基础上完成的,可复用的企业消息系统。
上图是简单抽象的描述,具体到 rabbitmq 有很多详细的概念,这里不一一详述。当然,我们上面也说过 ,rabbitmq 是 AMQP 协议的一个开源实现,所以其内部实际上也是 AMQP 中的基本概念,包括:Message(消息)、Publisher(消息生产者),Exchange(交换器),Binding(绑定),Queue(消息队列),Connection(网络连接),Channel(信道),Consumer(消息消费者),Virtual Host(虚拟主机),Broker(消息队列服务器)。
实际例子
生产者使用 java,往队列中写入待处理的消息。
java 代码(即生产者)
public class Producer1 { public final static String QUEUE_NAME="data"; public static void main(String[] args) throws IOException, TimeoutException, InterruptedException{ long startTime=System.currentTimeMillis(); //获取开始时间 //数据准备 List<testObj> list = MockData.mockData(); //创建连接工厂 ConnectionFactory factory = new ConnectionFactory(); //设置RabbitMQ相关信息 factory.setHost("192.168.43.211"); factory.setUsername("test"); factory.setPassword("123456"); //factory.setPort(5672); //创建一个新的连接 Connection connection = factory.newConnection(); //创建一个通道 Channel channel = connection.createChannel(); //声明一个队列 channel.queueDeclare(QUEUE_NAME, false, false, false, null); List<testObj> list1 = new ArrayList<testObj>(); list1 = new MockData().mockData(); //发送消息到队列中 ObjectMapper mapper=new ObjectMapper(); String message = mapper.writeValueAsString(list1); channel.basicPublish("", QUEUE_NAME, null, message.getBytes()); //关闭通道和连接 channel.close(); connection.close(); long endTime=System.currentTimeMillis(); //获取结束时间 System.out.println("程序运行时间: "+(endTime-startTime)/1000.0+"s"); } }
消费者使用 python 代码,从消息队列中获取 java 生成者发送的消息进行处理。
python 代码(即消费者)
if __name__ == '__main__': starttime = datetime.datetime.now() # 创建socket链接 credentials = pika.PlainCredentials('test', '123456') connection = pika.BlockingConnection(pika.ConnectionParameters( '192.168.43.211', 5672, '/', credentials)) # 创建管道 channel = connection.channel() # 创建队列 queue_name = 'data' channel.queue_declare(queue_name) # 如果接受到消息就调用回调函数,准备接受消息 # 声明回调函数 def callback(ch, method, properties, body): message = json.loads(body.decode()) endtime = datetime.datetime.now() print("拿数据时间:{}".format(endtime - starttime)) list = message for i in list: print(i) channel.basic_consume(callback, queue=queue_name, no_ack=False) channel.start_consuming()
我们可以看到 python 顺利拿到 java 传输的数据,至于你拿到数据后,后面要做什么复杂的操作、分析,那就是看你自己的需要了。
另外,你不妨尝试把模拟数据条数提高到 10 万条甚至更多, rabbitmq 基本能保持稳定有效。
小结
在解决不同语言程序之间数据传输问题上,方法各异,rabbitmq 是一个很好的选择,处理数据量大,且从时间效率上来说也快,而且很方便的进行系统的解耦。
以上就是详解Python如何与 java高效的交互的详细内容,更多关于Python与java 高效的交互的资料请关注脚本之家其它相关文章!
相关文章
TensorFlow通过文件名/文件夹名获取标签,并加入队列的实现
今天小编就为大家分享一篇TensorFlow通过文件名/文件夹名获取标签,并加入队列的实现,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
最新评论