笔记

热评生成器

2020-04-15T00:00:00+00:00

python requests如何一边下载一边保存文件

2020-03-27T00:00:00+00:00

问题

使用python requests, 如何下载较大文件，且一边下载一边保存

解决方法

设定stream=True并使用response.iter_content()

def download_and_save(url, save_to):
    r = requests.get(url, stream=True)
    with open(save_to, 'wb') as file:
        for chunk in r.iter_content(chunk_size=1024): # 可自行调整chunk_size大小，其单位为bytes
            file.write(chunk)

grep/sed/awk中正则表达式的区别

2019-09-08T00:00:00+00:00

本文默认你对正则表达式有基本的了解。

本文试图让你以后使用grep/sed/awk时，不需要为他们的差异而头疼。

本文试图解释两个概念：基础正则表达式和扩展正则表达式（这两个概念的名字简直就是瞎起的，太容易让人误解了）。

grep/sed/awk中正则表达式的区别

5个通用匹配符：

. 任意字符
* 匹配任意次数
^ 行开头
$ 行结尾
[] 其中一个

5个特殊匹配符：

() 子表达式
+ 匹配1次或多次
? 匹配0次或1次
{} 匹配m到n次
| 或

awk可以直接使用以上所有匹配符。

grep和sed加上-E参数后可以直接使用以上所有匹配符。若无-E参数，需在特殊匹配符前加转义符\。

事实上，所谓扩展正则表达式(ERE)，并不是对正则表达式进行了扩展。扩展正则表达式(ERE)能做的事，基础正则表达式(BRE)一样能做，只是加不加转义符的区别。如，想要匹配aa或aaa：

BRE写法：grep 'a\{2,3\}'

ERE写法：grep -E 'a{2,3}'

又如，对于以下文件：

a+
aaa

grep '^a+$' 匹配第一行。等价于grep -E '^a\+$'

grep '^a\+$' 匹配第二行。等价于 grep -E '^a+$'

建议

在三剑客中，以下5个匹配符也非常有用。

空格 空格
\< \> 单词左右边界
[[:blank:]] 空白字符（空格和制表符）
[[:graph:]] 非空白字符
[[:punct:]] 标点符号

个人建议，在grep/sed/awk中只使用本文列出的15个匹配符，未列出的其他匹配符，有的支持有的不支持，容易记错(如: awk不支持\b)。

参考

https://www.gnu.org/software/sed/manual/html_node/BRE-vs-ERE.html

在ubuntu中开启sftp服务，并在windows中通过winscp访问ubuntu中的文件

2019-07-27T00:00:00+00:00

问题

如何在ubuntu中开启sftp服务，并在windows中通过winscp访问ubuntu上的文件？

或

win10如何访问wsl linux子系统中的文件？

前提

windows中已有密钥对。如没有请查找相关资料。

方案

1.在windows中安装winscp

winscp

2. 检查ubuntu中的相关服务

运行命令

dpkg --get-selections | grep openssh

如果结果中有openssh-client, openssh-server, openssh-sftp-server, 说明相关服务已安装，可直接跳到下一步。如果没有安装，则运行以下命令进行安装

sudo apt-get install openssh-client
sudo apt-get install openssh-server

3. 启动sftp server

运行以下命令启动服务

service ssh start

如果启动成功，直接跳到下一步。

如果未启动成功，且返回结果中有以下错误信息：

error: could not load host key /etc/ssh/ssh_host_rsa_key

解决方法如下：

运行ls -al /etc/ssh/ssh_*key查看该目录下是否包含错误提示中的文件，如果没有这些文件或者文件大小为0, 说明这些key初始化失败，请运行以下命令重新配置

sudo rm -r /etc/ssh/ssh*key
sudo dpkg-reconfigure openssh-server
service ssh start

4. 在ubuntu中添加可信任公钥

~/.ssh/authorized_keys查看ubuntu上是否有该文件，如果没有请创建该文件。(.ssh目录权限为700, authorized_keys文件权限为600.)

把windows公钥的内容复制到上述文件中。

5. 通过winscp访问ubuntu

打开winscp，配置如下：

File protocol: SFTP
Host name: 你服务器的地址. (如果是本机上的linux子系统，则为127.0.0.1)
Port number: 22
User name: 你在ubuntu系统中的用户名
Password: 留空

填写以上配置后，找到Advanced -> Authentication -> Private key file配置项，点击浏览(…)进入Select private key file窗口，找到C:\Users\你的windows用户名\.ssh目录，如果有ppk格式的密钥，选择即可。

如果没有ppk格式密钥，则在右下角文件过滤下拉框中找到All private Key Files选项, 然后选择你的密钥文件，一般为id_rsa, 选中后winscp会帮助你生成ppk格式的密钥。

保存设置，点击Login即可访问ubuntu中的文件。

后台静默运行批处理(不显示窗口)

2019-07-12T00:00:00+00:00

问题：

如何运行批处理(bat)文件同时不显示其窗口。

场景1：手动调用

为其创建快捷方式，快捷方式属性中选择”最小化”

场景2：在其他批处理中调用

使用命令start /min xxx.bat

场景3：如果在任务计划中调用

找到对应计划任务，打开”常规”选项卡，选中”隐藏”复选框

参考

Jekyll 笔记

2019-06-29T00:00:00+00:00

Jekyll是用来构建静态网站的利器。Github Pages就是基于Jekyll的。

部分命令

jekyll new mysite: 新建./mysite目录，并在其中创建Jekyll网站

jekyll build: 构建网站，构建生成的网站在_site目录下

jekyll serve: 构建网站并开启本地服务，一般可通过localhost:4000访问网站

bundle install: 安装Gemfile中指定的依赖包

文件结构

_posts/: 存储markdown文件，每个文件是一篇文章

_site/: 构建生成的网站

_config.yml: 一些全局配置项，如theme/网站名/邮箱等

*.md/*.html: 网站根目录的文件，构建之后会生成_site/*.html

Gemfile: 存储了构建网站所需的依赖包

一个最简单的Jekyll结构只有这些文件/目录。完整的结构还应该有_layouts/, _includes/, _sass/, assets/等目录，下面称之为主题目录。如果应用了theme, 构建时会使用theme中的主题目录。如Jekyll默认应用了minima样式，构建时会使用minima的主题目录。

自己创建的主题文件可以覆盖theme中的主题文件，如：你可以创建一个文件_layouts/post.html, 则构建时会使用你创建的_layout/post.html文件，而不会去theme中寻找该文件.

Liquid模板

可以在页面中使用Liquid模板，.html和.md中都可以使用，参考：

padavan固件路由器改hosts并重启dnsmasq

2019-06-29T00:00:00+00:00

问题

padavan固件，即老毛子固件/pdcn固件/华硕固件，如何修改hosts？如何重启dnsmasq使其立即生效?

注意

padavan固件直接修改/etc/hosts的话，重启路由器之后会被覆盖，无法生效。

方案

padavan固件使用了dnsmasq, 可以修改dnsmasq配置目录中的hosts文件，该文件位于/etc/storage/dnsmasq/hosts，重启路由器之后可以生效且不会被覆盖。

# hosts
127.0.0.1    example.com

如果不想重启路由器，也可以输入shell命令restart_dns使其立即生效。

找到使xbox下载最快的IP

2019-06-29T00:00:00+00:00

最近吐槽xbox下载问题的人很多。其实微软在国内是有服务器的，但是最近下载域名大概率会解析到国外，一旦解析到国外，就会引起下载慢甚至无法下载的问题。因此，要解决下载问题，只需2步：

找到最快的下载IP
将下载域名解析到该IP（修改hosts或dnsmasq等）

这里只解决第1步，如何找到最佳下载IP.

至于第2步，网上教程比较多，可根据自己的路由器型号自行搜索（关键词：路由器改hosts或路由器 dnsmasq）。之后如果发现有必要，可能会单独写个教程。

因为每个人的地理位置和运营商不同，所以最佳下载IP因人而异。我也是最近才解决了下载问题，顺便写了个工具，找到最佳下载IP，所有网络运营商通用。

工具下载地址：

github: 下载地址
百度网盘：下载地址提取码： 8nww

使用方法：

下载之后，解压
运行“查找最快hosts.bat”
测速完成后，会在log目录生成最佳hosts

log/hosts.txt文件保存了速度最快的hosts，文件格式如下：

###########Sun Jun 23 19:57:57 2019###########

60.210.22.168    assets1.xboxlive.com
111.161.120.228    assets2.xboxlive.com

log/speed.log文件保存了测速日志，文件格式如下：

###########Sun Jun 23 19:57:57 2019###########

42.81.100.252	0.0 MB/s
111.161.120.228	3.98 MB/s
61.240.136.46	0.0 MB/s
110.242.21.94	1.51 MB/s
60.210.22.168	11.15 MB/s

至此，已经完成了第1步，找到了最佳下载IP.

接下来的第2步，可以选择修改路由器hosts，或修改路由器dnsmasq（梅林或pdcn等路由器系统），或自建dns服务器。

源码

源码在GitHub上，懂python的同学可以自行获取： github: xbox-download-host

appium对于Android中浮窗PopupWindow的定位

2018-06-24T00:00:00+00:00

自动化测试时发现，安卓中某些浮窗无法通过uiautomator定位。在uiautomatorviewer中查看时，鼠标放置在相应位置会自动穿透过去，定位到下层窗口中的元素。这种情况下就算知道元素id，在自动化脚本中也无法查找到浮窗中的元素。

原因

上述提到的浮窗类型是PopupWindow，后来发现并不是所有的PopupWindow都无法定位，只有在其focusable属性设定为false时才会定位不到。

解决办法

办法1：

既然只要focusable设定为true就可以定位，最好的办法当然是让开发把用到的PopupWindow的focusable设定为true.

办法2：

但是某些情况下由于一些特殊的原因无法修改PopupWindow.focusable，比如我们的APP中有一个PopupWindow的focusable设定为true之后会导致无法通过点击空白处关闭浮窗。这种情况下只能通过UI设计时的位置来确定想要操作的元素的坐标，通过TouchAction对该坐标点进行相应操作。

appium中的点击、长按、滑动等屏幕操作

2018-06-24T00:00:00+00:00

简述

appium中的屏幕操作是通过TouchAction类来实现的，屏幕操作包括以下几种：

（以Python为例。其他语言的方法名不尽相同，但原理一样)

主要：

tap()：轻击，就是普通的点击操作。

press()：按压，可以实现点击效果，但与tap相比，press可以实现一些后续操作。

long_press()：长按。

move_to()：移动。与我们实际用手指操作手机一样，移动之前需要先通过按压定位。所以移动一般是跟在按压或长按操作之后。

其他：

release()结束操作。

wait()等待，设定等待时间/操作时间。

perform()执行操作，见下面例子。

操作链

通过把以上操作串联起来，形成一个操作链，如滑动需要先press再move_to然后release. 例：

from appium.webdriver.common.touch_action import TouchAction

def touch_test():
    actions = TouchAction()
    actions.press(x=100, y=300) # 类似手指按压屏幕的(100, 300)位置
    actions.move_to(x=100, y=100) # 移动手指到达(100, 100)位置
    actions.release() # 放开手指
    actions.perform() # 将上面3个操作串联起来，依次执行

上面的例子所执行的操作为：

将手指放到(100, 300)位置
移动手指到(100, 100)位置
放开手指

注意perform()，只有在perform()的时候，上面的操作链才会真正执行。

另外，由于TouchAction中每个操作都会返回对象本身，所以上面的操作链也可以直接写成：

    actions.press(x=100, y=300).move_to(x=100, y=100).release().perform()

定位

上面的例子使用的是坐标定位，也可以使用元素定位。如：

手指从元素el_0的位置滑动到元素el_1的位置。

    actions.press(el_0).move_to(el_1).release().perform()

注意：这里的位置指的是滑动之前元素的位置。

控制滑动速度

我们在操作触屏设备的时候有快速滑动和慢速滑动两种。快速滑动在快速翻页时用到，滑动行为结束后页面会根据惯性继续滑动一段距离；大多数情况下我们使用的都是慢速滑动。

但是上述操作链只能实现快速滑动，无法控制滑动的速度。想要控制滑动速度，需要在操作链中加入wait().

通过实际测试，得出了下面的结论：

move_to的速度是根据其之前的操作时间来定的
press的时间是根据press之后的wait时间来定的
操作链press().wait().move_to()中的move_to操作会在press后立即执行，不需要等待wait结束

不知道这几个结论说的清不清楚，不清楚也不用在这纠结，直接看例子：

    actions.press(el_0).wait(1000).move_to(el_1).release().perform()

这个操作链的意思是，手指触摸el_0，然后从el_0的位置滑动到el_1的位置，整个过程用时1000ms. 这样就实现了慢速滑动。

另外，也可以通过long_press实现慢速滑动

    actions.long_press(el_0).wait(1000).move_to(el_1).release().perform()

appium python client的内置方法

appium的python客户端的driver中内置了几个方法，可以直接使用：

scroll(el0, el1)：快速滑动；通过元素定位滑动的起点和终点。

drag_and_drop(el0, el1)：慢速滑动，通过元素定位滑动的起点和终点。

swipe(x, y, time)：滑动，可设定滑动的时间；通过坐标定位滑动的起点和终点。

例：

import appium
#...
    driver = appium.webdriver.Remote(url, opts)
    el0 = driver.find_element_by_id(id0)
    el0 = driver.find_element_by_id(id1)
    driver.drag_and_drop(el0, el1)

drag_and_drop字面意思是拖拽和释放，触摸操作中的拖拽和释放操作，其实就是慢速滑动(或许叫做定位滑动更合适，总之，就是在滑动结束后不让页面根据惯性继续移动)。