全文搜索
标题搜索
全部时间
1小时内
1天内
1周内
1个月内
默认排序
按时间排序
为您找到相关结果27,475个

如何使用分区处理MySQL的亿级数据优化_Mysql_脚本之家

mysql在查询上千万级数据的时候,通过索引可以解决大部分查询优化问题。但是在处理上亿数据的时候,索引就不那么友好了。数据表(日志)是这样的:表大小:1T,约24亿行; 表分区:按时间分区,每个月为一个分区,一个分区约2-3亿行数据(40-70G左右)。由于数据不需要全量处理,经过与需求方讨论后,我们按时间段抽样一部分...
www.jb51.net/article/2150...htm 2024-5-30

MySQL 亿级数据导入导出及迁移笔记_Mysql_脚本之家

最近MySQL的笔记有点多了,主要是公司Oracle比较稳定维护较少,上周被安排做了一个MySQL亿级数据的迁移,趁此记录下学习笔记; 数据迁移,工作原理和技术支持数据导出、BI报表之类的相似,差异较大的地方是导入和导出数据量区别,一般报表数据量不会超过几百万,而做数据迁移,如果是互联网企业经常会涉及到千万级、亿级以上...
www.jb51.net/article/2150...htm 2024-5-30

MySQL如何支撑起亿级流量_Mysql_脚本之家

1 主从读写分离 大部分互联网业务都是读多写少,因此优先考虑DB如何支撑更高查询数,首先就需要区分读、写流量,这才方便针对读流量单独扩展,即主从读写分离。 若前端流量突增导致从库负载过高,DBA会优先做个从库扩容上去,这样对DB的读流量就会落到多个从库,每个从库的负载就降了下来,然后开发再尽力将流量挡在DB...
www.jb51.net/article/2230...htm 2024-5-30

使用Python Pandas处理亿级数据的方法_python_脚本之家

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据: 硬...
www.jb51.net/article/1637...htm 2024-5-30

mysql数据库如何实现亿级数据快速清理_Mysql_脚本之家

这篇文章主要介绍了mysql数据库实现亿级数据快速清理的方法,非常不错,具有参考借鉴价值,需要的朋友参考下吧 今天收到磁盘报警异常,50G的磁盘被撑爆了,分析解决过程如下: 1. 进入linux服务器,查看mysql文件夹中各个数据库所占的磁盘空间大小 看到了吗,光olderdb就占了25G ...
www.jb51.net/article/1385...htm 2024-5-30

Apache Hudi结合Flink的亿级数据入湖实践解析_服务器其它_脚本之家

这篇文章主要为大家介绍了Apache Hudi结合Flink的亿级数据入湖实践解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪 − 目录 1. 实时数据落地需求演进 2. 基于Spark+Hudi的实时数据落地应用实践 3. 基于Flink自定义实时数据落地实践 ...
www.jb51.net/article/2428...htm 2024-5-30

常用的电商软件哪款好?四款常用的电商软件推荐_其他工具_软件教程_脚本...

亿级精准企业客户数据,快速筛选企业客户画像,智能锁定目标客户。 3、移动外呼系统 容易、可控、规范、快速大数据拓客+CRM+专业的移动通讯解决方案。 4、资深销售经验 15年销售团队管理经验,从自身需求到市场整体趋势概况总结并实行落地。 5、核心需求提炼 500加电销团队需求提炼,专注行业领域,完善内部电销管理系统服务。
www.jb51.net/php/701... 2024-5-30

NAVI Protocol:原生代币上线在即,Sui生态TVL第一的龙头DeFi协议_资讯...

但繁荣之外的普遍共识是:虽然 LSTFi 这个千亿级赛道目前仍属于早期阶段,但在新一轮牛市到来之际有潜力激活 DeFi 获得 50+ 倍的增长空间,就看哪个公链能够抢抓机遇,这一点,在 Avalanche 生态头部 DeFi 协议 BENQI 身上也有所体现, 近日,专注于流动性质押解决方案的 BENQI TVL 突破 5.3 亿美元,30 日涨幅超过 ...
www.jb51.net/blockchain/9237...html 2024-1-23

亿级流量网站架构核心技术:跟开涛学搭建高可用高并发系统 完整pdf扫描版...

不管是软件开发人员,还是运维人员,通过阅读《亿级流量网站架构核心技术》都能系统地学习实现亿级流量网站的架构核心技术,并收获解决系统问题的思路和方法。 目录 第1部分 概述 / 1 1 交易型系统设计的一些原则 / 2 第2部分 高可用 / 17 2 负载均衡与反向代理 / 18 ...
www.jb51.net/books/5613...html 2024-5-29

阿里P9纯手打亿级高并发系统设计手册 高清pdf版 电子书 下载-脚本之家

亿级高并发系统设计手册下载 书籍大小:84.0MB 书籍语言:简体中文 书籍类型:国产软件 书籍授权:免费软件 更新时间:2020-07-02 17:23:43 书籍类别:其它相关 购买链接:京东异步社区 网友评分: 应用平台:PDF 相关书籍 2016-12-20阿里巴巴Java开发手册 中文PDF版 ...
www.jb51.net/books/7333...html 2024-5-10