脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → SpringBoot整合Milvus

SpringBoot整合Milvus的实现

 更新时间：2023年07月04日 10:40:38   作者：杨慕晚  
本文主要介绍了SpringBoot整合Milvus的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

什么是Milvus？

Milvus，一个开源的高性能向量数据库，它在各种应用场景中展现出强大的性能和灵活性。
在许多现代应用中，处理和分析大规模向量数据变得越来越重要。例如，在图像和视频搜索、推荐系统、自然语言处理和生物信息学等领域，向量数据被广泛应用。

项目背景

在公司推荐系统中，我们需要根据用户的历史行为和兴趣，为其推荐相关的内容。于是将用户和内容表示为向量，并使用 Milvus 进行相似度匹配。通过将用户向量和内容向量存储在 Milvus 中，并利用其高效的相似度查询功能，我们可以快速找到与用户兴趣最匹配的内容，并进行个性化推荐。

向量的生成由spark任务生成数据并写入，本文只写SpringBoot集成Milvus实现数据查询部分，面向C端，性能已测

Maven依赖引入

开始使用的是1.x版本，后来由于2.x新增了过滤筛选功能，升级了版本为2.2.3，1版本和2版本查询还是有一些区别，建议采用2版本

<dependency>
    <groupId>io.milvus</groupId>
    <artifactId>milvus-sdk-java</artifactId>
    <version>2.2.3</version>
</dependency>

自动配置

@Configuration
public class MilvusConfiguration {
    /**
     *  milvus ip addr
     */
    @Value("${milvus.config.ipAddr}")
    private String ipAddr;
    /**
     * milvus   port
     */
    @Value("${milvus.config.port}")
    private Integer  port;
    @Bean
    @Scope("singleton")
    public MilvusServiceClient getMilvusClient() {
        return getMilvusFactory().getMilvusClient();
    }
    @Bean(initMethod = "init", destroyMethod = "close")
    public MilvusRestClientFactory getMilvusFactory() {
        return  MilvusRestClientFactory.build(ipAddr, port);
    }
}

milvus Rest client 封装

public class MilvusRestClientFactory {
    private static String  IP_ADDR;
    private static Integer PORT ;
    private MilvusServiceClient milvusServiceClient;
    private ConnectParam.Builder  connectParamBuilder;
    private static MilvusRestClientFactory milvusRestClientFactory = new MilvusRestClientFactory();
    private MilvusRestClientFactory(){
    }
    public static MilvusRestClientFactory build(String ipAddr, Integer  port) {
        IP_ADDR = ipAddr;
        PORT = port;
        return milvusRestClientFactory;
    }
    private ConnectParam.Builder connectParamBuilder(String host, int port) {
        return  ConnectParam.newBuilder().withHost(host).withPort(port);
    }
    public void init() {
        connectParamBuilder =  connectParamBuilder(IP_ADDR,PORT);
        ConnectParam connectParam = connectParamBuilder.build();
        milvusServiceClient =new MilvusServiceClient(connectParam);
    }
    public MilvusServiceClient getMilvusClient() {
        return milvusServiceClient;
    }
    public void close() {
        if (milvusServiceClient != null) {
            try {
                milvusServiceClient.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
}

查询

写入数据不同，获取结果不同，我这里最后获取的是Long类型的数据集合，仅供参考

同步搜索milvus

/**
 * 同步搜索milvus
 * @param collectionName 表名
 * @param vectors 查询向量
 * @param topK 最相似的向量个数
 * @return
 */
public List<Long> search(String collectionName, List<List<Float>> vectors, Integer topK) {
    Assert.notNull(collectionName, "collectionName  is null");
    Assert.notNull(vectors, "vectors is null");
    Assert.notEmpty(vectors, "vectors is empty");
    Assert.notNull(topK, "topK is null");
    int nprobeVectorSize = vectors.get(0).size();
    String paramsInJson = "{"nprobe": " + nprobeVectorSize + "}";
    SearchParam searchParam =
            SearchParam.newBuilder().withCollectionName(collectionName)
                    .withParams(paramsInJson)
                    .withMetricType(MetricType.IP)
                    .withVectors(vectors)
                    .withVectorFieldName("embedding")
                    .withTopK(topK)
                    .build();
    R<SearchResults> searchResultsR = milvusServiceClient.search(searchParam);
    SearchResults searchResultsRData = searchResultsR.getData();
    List<Long> topksList = searchResultsRData.getResults().getIds().getIntId().getDataList();
    return topksList;
}

同步搜索milvus，增加过滤条件搜索

/**
 * 同步搜索milvus，增加过滤条件搜索
 *
 * @param collectionName 表名
 * @param vectors 查询向量
 * @param topK 最相似的向量个数
 * @param exp 过滤条件：status=1
 * @return
 */
public List<Long> search(String collectionName, List<List<Float>> vectors, Integer topK, String exp) {
    Assert.notNull(collectionName, "collectionName  is null");
    Assert.notNull(vectors, "vectors is null");
    Assert.notEmpty(vectors, "vectors is empty");
    Assert.notNull(topK, "topK is null");
    Assert.notNull(exp, "exp is null");
    int nprobeVectorSize = vectors.get(0).size();
    String paramsInJson = "{"nprobe": " + nprobeVectorSize + "}";
    SearchParam searchParam =
            SearchParam.newBuilder().withCollectionName(collectionName)
                    .withParams(paramsInJson)
                    .withMetricType(MetricType.IP)
                    .withVectors(vectors)
                    .withExpr(exp)
                    .withVectorFieldName("embedding")
                    .withTopK(topK)
                    .build();
    R<SearchResults> searchResultsR = milvusServiceClient.search(searchParam);
    SearchResults searchResultsRData = searchResultsR.getData();
    List<Long> topksList = searchResultsRData.getResults().getIds().getIntId().getDataList();
    return topksList;
}

异步搜索milvus：针对实时结果要求不高的场景

/**
 * 异步搜索milvus
 *
 * @param collectionName 表名
 * @param vectors 查询向量
 * @param partitionList 最相似的向量个数
 * @param topK
 * @return
 */
public List<Long> searchAsync(String collectionName, List<List<Float>> vectors,
                              List<String> partitionList, Integer topK) throws ExecutionException, InterruptedException {
    Assert.notNull(collectionName, "collectionName  is null");
    Assert.notNull(vectors, "vectors is null");
    Assert.notEmpty(vectors, "vectors is empty");
    Assert.notNull(partitionList, "partitionList is null");
    Assert.notEmpty(partitionList, "partitionList is empty");
    Assert.notNull(topK, "topK is null");
    int nprobeVectorSize = vectors.get(0).size();
    String paramsInJson = "{"nprobe": " + nprobeVectorSize + "}";
    SearchParam searchParam =
            SearchParam.newBuilder().withCollectionName(collectionName)
                    .withParams(paramsInJson)
                    .withVectors(vectors)
                    .withTopK(topK)
                    .withPartitionNames(partitionList)
                    .build();
    ListenableFuture<R<SearchResults>> listenableFuture = milvusServiceClient.searchAsync(searchParam);
    List<Long> resultIdsList = listenableFuture.get().getData().getResults().getTopksList();
    return resultIdsList;
}

获取分区集合

/**
 * 获取分区集合
 * @param collectionName 表名
 * @return
 */
public List<String> getPartitionsList(String collectionName) {
    Assert.notNull(collectionName, "collectionName  is null");
    ShowPartitionsParam searchParam = ShowPartitionsParam.newBuilder().withCollectionName(collectionName).build();
    List<ByteString> byteStrings = milvusServiceClient.showPartitions(searchParam).getData().getPartitionNamesList().asByteStringList();
    List<String> partitionList = Lists.newLinkedList();
    byteStrings.forEach(s -> {
        partitionList.add(s.toStringUtf8());
    });
    return partitionList;
}

yml配置数据

milvus:
  config:
    ipAddr: xxx.xxx.xxx.xxx
    port: 19531

到此这篇关于SpringBoot整合Milvus的实现的文章就介绍到这了,更多相关SpringBoot整合Milvus内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Spring Boot中使用Spring Retry重试框架的操作方法

    Spring Boot中使用Spring Retry重试框架的操作方法

    这篇文章主要介绍了Spring Retry 在SpringBoot 中的应用,介绍了RetryTemplate配置的时候，需要设置的重试策略和退避策略，需要的朋友可以参考下
    2022-04-04
  • Java中的static关键字深入理解

    Java中的static关键字深入理解

    这篇文章主要介绍了Java中的static关键字深入理解，文字和代码列举了实际例子，有感兴趣的同学可以研究下
    2021-03-03
  • java向下转型基础知识点及实例

    java向下转型基础知识点及实例

    在本篇文章里小编给大家整理的是一篇关于java向下转型基础知识点及实例内容，有兴趣的朋友们可以学习下。
    2021-05-05
  • AOP之事务管理<aop:advisor>的两种配置方式

    AOP之事务管理<aop:advisor>的两种配置方式

    这篇文章主要介绍了AOP之事务管理<aop:advisor>的两种配置方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-11-11
  • Java IO之字节输入输出流详解

    Java IO之字节输入输出流详解

    这篇文章主要为大家介绍了Java IO之字节输入输出流，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
    2022-01-01
  • Java关键字super超详细解释

    Java关键字super超详细解释

    在Java中super是一个关键字,用于访问父类中的属性、方法或构造函数,这篇文章主要给大家介绍了关于Java关键字super超详细解释的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2023-11-11
  • 关于ReentrantLock的实现原理解读

    关于ReentrantLock的实现原理解读

    这篇文章主要介绍了关于ReentrantLock的实现原理，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-06-06
  • Spring Boot与Spring Security的跨域问题解决方案

    Spring Boot与Spring Security的跨域问题解决方案

    跨域问题是指在Web开发中,浏览器出于安全考虑,限制了不同域名之间的资源访问,本文重点给大家介绍Spring Boot与Spring Security的跨域问题解决方案,感兴趣的朋友一起看看吧
    2023-09-09
  • 史上最全Java8日期时间工具类(分享)

    史上最全Java8日期时间工具类(分享)

    这篇文章主要介绍了史上最全Java8日期时间工具类(分享)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • 如何在 Java 中实现不可变类

    如何在 Java 中实现不可变类

    这篇文章主要介绍了如何在 Java 中实现不可变类,不变性是函数式编程的关键，因为它与尽量减少变化部分的这一目标相一致，这使得对这些部分的推断更为容易一些。,需要的朋友可以参考下
    2019-06-06

最新评论