买基金真的挺有用的，500块钱一个月只亏了200，要是不买基金早就花光了… …
基金，堪称近期当代年轻人
无法言说的痛
看着满屏一片环保
眼泪默默流了下来…
有一说一，小编这些天
可以说是被绿的睡不着
懂了，虽然没有爱情
但要我强行体会心碎的感受吗？
简介
青青草原，跌妈不认
提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。
本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。
第一步：基金数据爬取
打开天天基金网，通过浏览器的开发者工具，我们能观察到用户的请求和数据的返回过程。从而利用正则表达式，以及 xpath 等工具，辅以一点 python 爬虫的知识，很容易就能获取到每支基金的增长率和持仓情况。开始分析天天基金网的一些数据。经过抓包分析，可知： ./fundcode_search.js包含所有基金的数据，同时，该地址具有反爬机制，多次访问将会失败的情况。
同时，经过分析可知某只基金的相关信息地址为:fundgz.1234567.com.cn/js/ + 基金代码 + .js
分析完天天基金网的数据后，搭建IP代理池，用于反爬作用。搭建代理池，由于该作者提供了一个例子，所以本代码里面直接使用的是作者提供的接口。如果你需要更快速的获取到普匿IP，则可以自行搭建一个本地IP代理池。
第二步：股票增持计算
有了上面爬下来的原始数据之后，我们就可以统计：单股票被基金公司持有的数量、单股票被基金公司持有的市值和持有单股票基金公司的数目。对于不同的相邻季度，我们可以计算这三个量的增长，又得到三个新的指标。对于不同的指标进行降排序，我们可以得到股票在基金公司中的受欢迎程度，以此得到股票好坏度，指标值作为权重。不同的指标得到的不同的股票排序还可以拿前几取交集。从而我们就得到了基金公司们期待值比较高的股票。
搭建完IP代理池后，我们开始着手多线程爬取数据的工作。一旦使用多线程，则需要考虑到数据的读写顺序问题。这里使用python中的队列queue进行存储基金代码，不同线程分别从这个queue中获取基金代码，并访问指定基金的数据。由于queue的读取和写入是阻塞的，所以可以确保该过程不会出现读取重复和读取丢失基金代码的情况。
第三步：好股基金选取
第二步中，我们其实已经得到了被基金公司看重的股票，如果炒股，直接取其前几，按其权重进行金额配置即可。现在问题是，国内股票交易，一手起步，选出来的股票很贵，比如说茅台，你不一定买得起。这时候，我们还是寄希望于买基金。我们希望选出的基金的持仓和我们选出的好股票集合的“相似度”尽可能高。相似度的衡量又很多方法。比如说：基金持有的十大重仓含有好股的数目、基金持有的十大重仓含有好股的市值、基金持有的十大重仓含有好股的占比、基金持有的十大重仓含有好股的加权占比（加权基于增持市值或增持基金数量）等等。
现在，开始编写如何获取指定基金的代码。首先，该函数必须先判断queue是否为空，当不为空的时候才可进行获取基金数据。同时，当发现访问失败时，则必须将我们刚刚取出的基金代码重新放回到队列中去，这样才不会导致基金代码丢失。
当访问成功时，则说明能够成功获得基金的相关数据。当我们在将这些数据存入到一个.csv文件中，会发现数据出现错误。这是由于多线程导致，由于多个线程同时对该文件进行写入，导致出错。所以需要引入一个线程锁，确保每次只有一个线程写入。
至此，大部分工作已经完成了。为了更好地实现伪装效果，我们对header进行随机选择。
最后，在main中，开启线程即可。
通过对多线程和IP代理池的实践操作，能够更加深入了解多线程和爬虫的工作原理。当你在使用一些爬虫框架的时候，就能够做到快速定位错误并解决错误。
数据格式
000056,建信消费升级混合,2019-03-26,1.7740,1.7914,0.98,2019-03-27 15:00
000031,华夏复兴混合,2019-03-26,1.5650,1.5709,0.38,2019-03-27 15:00
000048,华夏双债增强债券C,2019-03-26,1.2230,1.2236,0.05,2019-03-27 15:00
000008,嘉实中证500ETF联接A,2019-03-26,1.4417,1.4552,0.93,2019-03-27 15:00
000024,大摩双利增强债券A,2019-03-26,1.1670,1.1674,0.04,2019-03-27 15:00
000054,鹏华双债增利债券,2019-03-26,1.1697,1.1693,-0.03,2019-03-27 15:00
000016,华夏纯债债券C,2019-03-26,1.1790,1.1793,0.03,2019-03-27 15:00
功能截图
我买基金是从来不会亏钱的，因为我有风险对冲，我把8成全仓买基金，剩余2成买意外身亡险，大涨我就赚、大跌我就跳楼，赔率1:4，怎样都赚钱，要有一个好心态
————————————————
最后：
收留中证白酒 中欧医疗 易方达蓝筹等等其他基金大跌的心碎男孩
年龄20-25岁 帅哥优先
基金无情人有情 大盘绿你我不会 你的不安我来承担
哪怕全世界割你韭菜 我也是你最温暖的港湾
原文链接：https://blog.csdn.net/fei347795790/article/details/91871524
免责声明: 文章源于会员发布，不作为任何投资建议
如有侵权请联系我们删除，本文链接：https://www.vrvkongtiao.com/baike/29529.html
微信扫一扫 