Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

android点击操作的小圆点如何分类与定位 #174

Open
mayan90 opened this issue Mar 15, 2022 · 8 comments
Open

android点击操作的小圆点如何分类与定位 #174

mayan90 opened this issue Mar 15, 2022 · 8 comments

Comments

@mayan90
Copy link

mayan90 commented Mar 15, 2022

video = VideoObject(file_name, fps=240) 用这个处理过了
Traceback (most recent call last):
File "/Users/xm210407/Desktop/工作记录/KbPerformanceTest/testc.py", line 27, in
result_dict = classify_result.to_dict()
File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/stagesepx/classifier/base.py", line 146, in to_dict
d[each_stage] = self.get_specific_stage_range(each_stage)
File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/stagesepx/classifier/base.py", line 216, in get_specific_stage_range
for each_range in self.get_stage_range():
File "/Library/Frameworks/Python.framework/Versions/3.9/lib/python3.9/site-packages/stagesepx/classifier/base.py", line 199, in get_stage_range
assert len(result) > 0, "video seems to only contain one stage"
AssertionError: video seems to only contain one stage

@williamfzc
Copy link
Owner

视频直接发我邮箱,资料里有

@mayan90
Copy link
Author

mayan90 commented Mar 15, 2022

这个修改好啦 关闭了 ,目前有手动操作,或者圆点触发的新的框架更新吗?起点我看判断的不准,无论选择圆点或者指针,起点都不准

@williamfzc
Copy link
Owner

https://blog.csdn.net/wsc106/article/details/107351675
如何更容易的定位用户点击行为

@mayan90
Copy link
Author

mayan90 commented Mar 16, 2022

我们在Android系统上录制视频时,一般是用用户点击屏幕出现的小圆点(需在开发者模式中开启"显示点按操作反馈",或者在录屏时开启"显示屏幕触摸")来定位用户点击事件。而这个小圆点是白色的。为了能更好的定位到这个小白点,建议将被预测的App设置成深色背景色,加大两者颜色的对比。
使用上述方法 定位不到手指或小圆点离开的瞬间,会有偏差,导致结果不准,指针也尝试了,如果代码变更导致抬起位置有bug,那计算方法就会很大偏差

@williamfzc
Copy link
Owner

#144 (comment)
用第一个不稳定阶段来计算初始点就行

@williamfzc williamfzc changed the title 控制台无论划分几个区间,都提示AssertionError: video seems to only contain one stage android点击操作的小圆点如何分类与定位 Mar 17, 2022
@mayan90
Copy link
Author

mayan90 commented Mar 18, 2022

目前就是的,定位不到具体离开的瞬间,可视化数帧工具是可以定位到触摸离开的瞬间的。就是有偏差,大小不一定

@mayan90
Copy link
Author

mayan90 commented Mar 18, 2022

谢谢解答啦,定位不到瞬间就会有数据偏差,跟工具测试的数据有出入,可能就不是很合适,另外发现,可能会有丢帧的情况,在未离开小圆点到离开的小圆点之间,切割区间的图片过于少了,这种视频都用ffmeg处理过了

@williamfzc
Copy link
Owner

williamfzc commented Mar 18, 2022

目前就是的,定位不到具体离开的瞬间,可视化数帧工具是可以定位到触摸离开的瞬间的。就是有偏差,大小不一定

点击到离开整个过程对应到的就是第一个不稳定区间,取这个区间的最后一帧为啥会有偏差?

可能会有丢帧的情况,在未离开小圆点到离开的小圆点之间,切割区间的图片过于少了,这种视频都用ffmeg处理过了

不用纠结于小圆点的事情,算法能做到的事情有限(有没有圆点对于模型来说差距极其小,实测中非要把他们分为两个类别性价比很低,没有必要),直接用上面的方法去定位第一个点就可以。

过于少是录制端有问题,不是ffmpeg与工具的问题。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants