我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:猪八戒论坛资料 > 安东尼沃克 >

weakiwi

归档日期:06-30       文本归类:安东尼沃克      文章编辑:爱尚语录

  最近阿里云卡得我鬼火起,差点一时冲动买了小主机。突然想起安卓上的termux,据说linux大部分的特性都有了

  首先不特别建议使用清华源,一个是我教育网内每次apt update容易走ipv6,然后无论装什么都是unable locate,直接用官方源就好了。

  首先就是折腾ssh,因为termux不支持用户登陆,所以只能用密钥登陆。首先apt install openssh安装ssh服务端,接着用ssh-keygen生成密钥,我是一路enter所以产生的id_rsa.pub在/data/data/com.termux/files/home下面。直接用es文件浏览器考到sd卡根目录,拖到电脑上。用putty-keygen,选择“载入”,选择所有文件,然后选择id_ras,生成.ppk文件。以后登陆选上这个就好了。p.s:登陆时无须输入用户名

  然后是折腾oh-my-zsh。首先先把curl、git等基础软件安装上。参考这个,除了修改source.list部分,其他一步步执行就好了。

  同时推荐一下tmux,用好了实在太爽,反正占用的资源也不多,建议安装上去。我一边用tmux两分屏,然后上屏写django,下屏显示服务器状态,不要太爽。tmux的配置文件我用是tony/tmux-config,可惜不能用鼠标选择pane。

  oh-my-zsh最大的爽点就是各种插件和主题啊,我现在暂时用着dst主题。直接vim $HOME/.zshrc然后搜索theme修改为dst就好了。按照为什么说 zsh 是 shell 中的极品这篇文章配置好自动补全和高亮的插件,source完然后重启就好了。最后还是转投了fish,因为有时候zsh的速度实在太慢,而同时fish却还能接受。不过需要注意的一点是,因为fish不兼容bash,所以需要给vim配置文件设置指定的执行终端。

  最后折腾vim,首先执行$ git clone 。重要的一点是使用$HOME而非root,后面vimrc的配置文件也这么改就好了。最后贴上我的vim配置文件。

  在一起实习的朋友推荐下尝试了一下神箭手云爬虫,感觉相当不错。首先自带函数虽然简陋,但是对于爬虫而言也算够用。导出excel功能对于我而言算是体贴。最最良心的是自带代理而且是可更换的,这个用爬虫的人都知道是多么良心了吧。

  我用神箭手写了一个reddit的Asiancult标签的美女图爬虫,原理虽然简单,但是也跳了一些小坑。与大家分享,希望大家不要重蹈我的覆辙。

  contentUrlRegexes是抓取的内容也,这个正则一定要写对啊,我一开始就是没写对,搞到网页下载下来就是不做解析。

  afterDownloadPage。如果你也是和我一样,下一条网址是需要通过解析页面来获取的,那么请务必使用这个函数。我使用onProcessScanPage并没有生效,还有一个就是一定要return page而不是return false,因为这里返回的内容是交给爬虫来提取你要抓取的内容的。

  事情的起因是亚马逊鞋品的新年优惠,其实这种所谓的优惠往往力度不大,然而再小的羊毛也是羊毛不是。因为商品太多,而且显示的还是优惠前的价格,所以人肉挑实在是太辛苦了,于是乎万能的py就必须启动了。

  2.获取这些商品的折后价格、星级还有热销排行榜,自己分别对其设置权数,算出一个综合评分。

  ,我们需要提取的商品链接的值是类似。class=’a-size-small a-color-secondary’下的,用bs4处理就好了,打开后的网页处理方法在之前的文章也提到过,在这里就不提了。这次最主要的是对爬虫的性能进行优化。

  之前做过一个D版帖子的爬虫,也是这种先获取列表再打开类型的。一开始我采用的是非常单一的,获取完所有帖子的超链接然后再打开。唯一的优化就是采用多核心。这样做的缺点非常明显就是一单获取过程出错,后面对超链接包含内容的分析也无法进行。

  其实最理想的处理方法就是每抓取一个超链接就分析一个超链接,百度之,发现这就是所谓的消费者生产者模型,用py现成的queue模块就能搞定。其实只要知道queue.put()是往队头插入一个元素,queue.get()是读取队尾元素并删除就好了。这样我们只要把获取超链接写成一个方法并存在队列里,对超链接的读取写成另一个方法,同时读取队列就好了。

  好久没更新博客,所以就顺手做个大死,去掉ndsl的gba插槽然后塞进去一个bl5c,虽然存在电池互冲问题,但是容量也差不多能够增加百分之八十。

  拆机的话需要注意的不多,先取出所有卡,把D面所有螺丝全部卸完以后(主板上貌似还有固定螺丝),用手顶一下下屏主板就能出来了,注意别动着排线了。注意别把音量和开关机键给搞丢了,这是可以顺路把导电胶给换了(参见NDSL导电胶更换)。

  然后就是卸gba槽,因为我没有热风枪,有了也不会用,就直接用虎嘴钳来暴力拆解吧还有务必把槽上的金属片也卸掉。

  先对中间用力,再对边上用力。注意别把主板弄坏了。最好能打磨一下D面对应gba槽的位置,为电池留够足够空间(防止焊点太大什么的)。

  接下来是对电池的改造,如果你的bl5c的金属触点没有和它的塑料边缘齐平,请务必先打磨一下。这样贴铜箔的时候能保证接触足够充分。同时在铜箔上焊好漆包线,这些事情相对简单就不重复了。

  然后就是飞线到主板上的触点啦,首先确定你的漆包线和电池的连通性没问题,然后对电池做好绝缘处理,包一圈绝缘胶布。焊接的时候请务必在触点周围垫圈硬卡纸(一开始我用塑料片,熔点太低了,效果不好)。能防止我这一类的新手把焊锡滴到主板上。这一步完成后,再测试下触点两端是否为3.7v。

  测试是否成功有个简单的方法,当你并联好电池和触点后,可以插充电器充电,如果一直是红灯就说明成功了。这样之后就可以还原机器啦。顺便修一下完工图。

  上学期就有的想法,昨天因为不想自己闲下来所以开始动手继续折腾。到今天位置也算做好大部分的内容了。也算是对假期学习php+js的一个总结吧。

  首先看油猴子脚本开头的注释快,名称、作者、更新地址什么的都是一目了然。需要关心的是@grant还有@match前者是用来包含油猴子提供给你的内部函数的,后者是用来指定在那些页面下生效的。我需要在豆瓣读书下生效,所以对应的是注意通配符。获取书籍名称非常容易,一行代码能够搞定,var keyword1 = title.replace( (豆瓣), ).trim();

  接下来使用gm_xmlhttprequest模块构造get请求,提交书籍名称到我的vps。可以参考greasepot的wiki,不难写出代码,注意提交完成后的执行内容得写在onload里面。代码如下:

  接下来是后端的内容,因为还不会用php的模块,所以直接用xpath来对页面进行解析。这里推荐xpathhelper,只需按下ctrl+shift+x再按下shift把鼠标移动到哪就可以显示对应的xpath,不过需要注意生成的是从根标签开始的,如果太长可以直接用”/“来代替。

  最后是返回json数据(主要是看到v2ex上有人吐槽为何后端不能返回json数据,所以良好习惯从现在开始吧。我这数据量不大,老老实实组成数组,然后再用json_encode转换就好了。注意因为出现中文所以需要在开始加header(Content-Type: text/html;charset=utf-8);//防止出现乱码

  最近认识到了php在和xpath以及mysql配合的方便性后,迫不及待地想找东西来练手。于是乎就盯上了超级玩家,而后更是惊喜地发现,该站没有做爬虫限制(连UA限制都没做),url又是非常的规律,于是就迫不及待地动手啦。

  首先还是按惯例用chrome的xpath helper插件来对网页上的dom元素进行分析。

  可以很快就得到对应的xpath路径,然后构造sql语句。然而这些都不是今天的重点(因为并不难啊)。

  当用php跑一个大循环而且每次循环都会对数据库进行查询或者插入时,php就很容易内存耗尽。像最初的脚本,五十万的循环我仅仅是跑到三千多就停止了。至于问题是为何产生的,可以参考PHP的内存限制 Allowed memory size of 134217728 bytes exhausted (tried to allocate 1099 bytes) in以及PHP大量数据循环时内存耗尽问题的解决方案。

  也就是说只要你每次查询都用ubuffered还有在php脚本一开始就加上ini_set(memory_limit,521M);就好了。然而我的脚本最后还是内存耗尽了,在百度一番后才知道是我的变量使用习惯不好。于是乎我在每次循环结束都用unset函数把变量全部释放感觉,最终这个五十万的大循环终于完完整地跑完了。其实想要进一步优化还有几个办法,比方说把整个循环拆分成若干个部分,每个部分结束就mysql_close()一下。又或者不要用老化的mysql模块。用新的mysqli也可能对性能有所提升

  因为老豆那也要买一个路由器,在我的蛊惑之下,母亲大人终于拨款给家里换了一台网件4300。入手的原因是128m闪存、5gwifi、450m+300m、明月固件的支持。最后一项极大降低了折腾成本,最蛋疼的是usb竟然是1.1的,慢的让人差异。不过因为2楼的电源插座已经满了,再加上家里所谓的智能电视也不支持samba,所以最后可能还是得上树莓派。

  1.修改功率和信道,尽可能地保证全家wifi覆盖并全速上网(家里那台服役了三年的普联空心信号的情况很严重)

  2.第二个主要的问题在于拨号获取的ip地址都是的动态的,而6in4隧道一般要求是静态的。还好openwrt本身支持道的动态更新。可以参见【低级骗分】基于OpenWRT的6in4隧道架设研究。注意opkg安装软件之前得先把源换成国内的然后执行一遍opkg update,防止出现一些莫名其妙的错误

  3.去广告我用adbyby。安装方法官网讲得非常详细了,不过最后用下来感觉效果不是特别明显,但是有胜于无不是。

  4.在网上找了说是可以用pdnsd,我直接勾了开启就没有管了,以后深入研究。

  5.下面是重头戏,单线多拨。如果条件允许,你可以现在多台电脑上试一下能不能同时登一个账号而不掉线。如果不行直接创建虚拟网口来测试。

  我一开始是创建了四个网口,创建完了切换到接口,设置pppoe拨号,输入自己的宽带账号密码,几个wan口都是如此设置。

  设置好了回到接口主界面,几个接口都点连接,看最后能有几个能拨上就是能几拨了。(某些运营商可能需要并发拨号才能成功,然而博主是直接双拨成功,相法使用并发不成功,所以需要并发的筒子们请自行折腾了)

  处理完这个小问题,我就来谈谈我大概的解决思路啦——每次点击鼠标左键,就给两个全局变量添加参数,其中一个是当前鼠标的坐标,另一个则是```time.time()```后者是用来计算鼠标点击的时间间隔的,然后当鼠标中键往后滚动的时候脱钩,处理得到时间间隔,开始模拟点击。需要注意的是,按下鼠标左键以及中键对应的子类分别是```MouseLfetDown```以及```MouseWheel```具体的实现代码可以看[我的github][1]。

  还有就是ocr咯,我用的是pytesser。无他,不需要编译,不需要pip,使用起来方便(反正都是对付近似印刷体的纯数字,难度较低)。

  有了pytesser其他就都是小事了,直接调用就好了。贴下我的图片二值化代码以及提取纯数字的代码。

  im2 = Image.new(P,im.size,255)

  if pix50 and pix170: #这个区间是主要字体的颜色,可以通过qq截图获得

  fifaol3截卡器,在转会市场,总是有一些卡,虽然明明存量很大,可是每次购买就是提示“该球员已售出”。这就是截卡器的功劳了。因此打算用python实现自动检测球员,自动购买球员,最好还能考虑价格问题。

  fifaol3经理人脚本,其实自从出了fifaol3m,就不用刷经理人了,但是我倒霉的手机玩不了,再说也得主动多造轮子提升自己吗。需要的是自动点击按钮还有就是根据情况按下esc,跳过回放入场等。

  首先为了方便测试,我们需要把fifaol调整为非全屏以及第分辨率,这样才能方便我切换窗口。

  2.点击搜索球员——选中球员——点击购买——回车购买———回车确认。这里需要注意的就是能不用鼠标完成的操作(比如最后两步可以用回车键代替),尽量别用鼠标完成(因为鼠标需要各种测量,实在太辛苦)。如下图:

  pywhin32在网上的资料还是很多的,直接找来就好了。直接贴下主程序的代码:

本文链接:http://roi24.net/andongniwoke/349.html