java实现随机森林RandomForest的示例代码
随机森林是由多棵树组成的分类或回归方法。主要思想来源于Bagging算法,Bagging技术思想主要是给定一弱分类器及训练集,让该学习算法训练多轮,每轮的训练集由原始训练集中有放回的随机抽取,大小一般跟原始训练集相当,这样依次训练多个弱分类器,最终的分类由这些弱分类器组合,对于分类问题一般采用多数投票法,对于回归问题一般采用简单平均法。随机森林在bagging的基础上,每个弱分类器都是决策树,决策树的生成过程中中,在属性的选择上增加了依一定概率选择属性,在这些属性中选择最佳属性及分割点,传统做法一般是全部属性中去选择最佳属性,这样随机森林有了样本选择的随机性,属性选择的随机性,这样一来增加了每个分类器的差异性、不稳定性及一定程度上避免每个分类器的过拟合(一般决策树有过拟合现象),由此组合分类器增加了最终的泛化能力。下面是代码的简单实现
/** * 随机森林 回归问题 * @author ysh 1208706282 * */ public class RandomForest { List<Sample> mSamples; List<Cart> mCarts; double mFeatureRate; int mMaxDepth; int mMinLeaf; Random mRandom; /** * 加载数据 回归树 * @param path * @param regex * @throws Exception */ public void loadData(String path,String regex) throws Exception{ mSamples = new ArrayList<Sample>(); BufferedReader reader = new BufferedReader(new FileReader(path)); String line = null; String splits[] = null; Sample sample = null; while(null != (line=reader.readLine())){ splits = line.split(regex); sample = new Sample(); sample.label = Double.valueOf(splits[0]); sample.feature = new ArrayList<Double>(splits.length-1); for(int i=0;i<splits.length-1;i++){ sample.feature.add(new Double(splits[i+1])); } mSamples.add(sample); } reader.close(); } public void train(int iters){ mCarts = new ArrayList<Cart>(iters); Cart cart = null; for(int iter=0;iter<iters;iter++){ cart = new Cart(); cart.mFeatureRate = mFeatureRate; cart.mMaxDepth = mMaxDepth; cart.mMinLeaf = mMinLeaf; cart.mRandom = mRandom; List<Sample> s = new ArrayList<Sample>(mSamples.size()); for(int i=0;i<mSamples.size();i++){ s.add(mSamples.get(cart.mRandom.nextInt(mSamples.size()))); } cart.setData(s); cart.train(); mCarts.add(cart); System.out.println("iter: "+iter); s = null; } } /** * 回归问题简单平均法 分类问题多数投票法 * @param sample * @return */ public double classify(Sample sample){ double val = 0; for(Cart cart:mCarts){ val += cart.classify(sample); } return val/mCarts.size(); } /** * @param args * @throws Exception */ public static void main(String[] args) throws Exception { // TODO Auto-generated method stub RandomForest forest = new RandomForest(); forest.loadData("F:/2016-contest/20161001/train_data_1.csv", ","); forest.mFeatureRate = 0.8; forest.mMaxDepth = 3; forest.mMinLeaf = 1; forest.mRandom = new Random(); forest.mRandom.setSeed(100); forest.train(100); List<Sample> samples = Cart.loadTestData("F:/2016-contest/20161001/valid_data_1.csv", true, ","); double sum = 0; for(Sample s:samples){ double val = forest.classify(s); sum += (val-s.label)*(val-s.label); System.out.println(val+" "+s.label); } System.out.println(sum/samples.size()+" "+sum); System.out.println(System.currentTimeMillis()); } }
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
相关文章
Spring Security 实现用户名密码登录流程源码详解
在服务端的安全管理使用了Spring Security,用户登录成功之后,Spring Security帮你把用户信息保存在Session里,但是具体保存在哪里,要是不深究你可能就不知道,今天小编就带大家具体了解一下Spring Security实现用户名密码登录的流程2021-11-11解决Spring Boot 多模块注入访问不到jar包中的Bean问题
这篇文章主要介绍了解决Spring Boot 多模块注入访问不到jar包中的Bean问题。具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2020-09-09Mybatis之类型处理器TypeHandler的作用与自定义方式
这篇文章主要介绍了Mybatis之类型处理器TypeHandler的作用与自定义方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教2023-04-04SpringBoot项目使用mybatis-plus代码生成的实例详解
mybatis-plus是mybatis的增强,不对mybatis做任何改变,涵盖了代码生成,自定义ID生成器,快速实现CRUD,自动分页,逻辑删除等功能。本文就来讲讲SpringBoot项目如何使用mybatis-plus实现代码生成,需要的可以了解一下2022-10-10SpringMvc返回modelandview返回的页面无法跳转问题及解决
这篇文章主要介绍了SpringMvc返回modelandview返回的页面无法跳转问题及解决方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教2022-05-05
最新评论