Pycharm打印大数据文件显示不全的解决方法
前言
昨晚写了个小爬虫,简单分析下发现可以修改请求的url,直接获取所有目标的数据。想先打印在控制台看看,发现打印的数据不全,一开始还以为被反爬虫了,获取的数据本身不全,后来将数据直接保存JSON文件(3兆多大小),用Ubuntu文档编辑器打不开(直接卡死),用vim打开发现数据完整(说明爬虫获取的数据本身没毛病),再在Pycharm用Python打开发现提示文件过大,打印在控制台也还是显示不全。
正文
原来Pycharm IDEA对能关联的文件大小做了限制,主要是为了保护内存,默认值为2500kb,这对爬虫用户来说相当不友好,但时安装软件的时候也不提醒下?
在Pycharm菜单找到Edit Custom Properties…
追加以下字段
idea.max.intellisense.filesize = 20000 idea.max.content.load.filesize = 20000 idea.cycle.buffer.size = 20000
其中20000代表限制大小为20000kb(暂时够用),可自行修改
重启Pycharm
以上就是Pycharm打印大数据文件显示不全的解决方法的详细内容,更多关于Pycharm打印数据显示不全的资料请关注脚本之家其它相关文章!
相关文章
Python3.9 beta2版本发布了,看看这7个新的PEP都是什么
这篇文章主要介绍了Python3.9 beta2版本发布了,看看这7个新的PEP都是什么,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧2020-06-06Python实现的字典排序操作示例【按键名key与键值value排序】
这篇文章主要介绍了Python实现的字典排序操作,结合实例形式分析了Python针对字典分别按照键名key与键值value进行排序的相关操作技巧,需要的朋友可以参考下2018-12-12python通过socket实现多个连接并实现ssh功能详解
这篇文章主要介绍了python通过socket实现多个连接并实现ssh功能详解,具有一定参考价值,需要的朋友可以了解下。2017-11-11Python利用pandas和matplotlib实现绘制圆环图
在可视化的过程中,圆环图是一种常用的方式,特别适合于展示各类别占比情况,本文将介绍如何使用 Python中的 pandas 和 matplotlib 库,来制作一个店铺销量占比的圆环图,需要的可以参考下2023-11-11浅析python,PyCharm,Anaconda三者之间的关系
Python是一种跨平台的计算机程序设计语言,简单来说,python就是类似于C,Java,C++等,一种编程语言。这篇文章主要介绍了浅析python,PyCharm,Anaconda三者之间的关系,需要的朋友可以参考下2019-11-11
最新评论