AI实现FPS游戏自动瞄准 yolov5 fps自瞄

cywsh

需要了解的东西和可能会遇到的问题

1.xy坐标点与当前鼠标的xy坐标点距离计算
2.获取窗口句柄，本文使用的是根据窗口名称获取句柄
3.推理方式：本文使用的是GPU(为啥呢？速度快噻~)。
4.屏幕宽高获取和敌人坐标获取和计算哪个是最近的敌人并控制鼠标去敌人身上和头上。（为什么说是身体和头部呢，因为还有一个方式，就是只需要敌人身体坐标就可以计算得出敌人头部坐标）
5.还有鼠标按键状态获取。


正文开始吧，我们就从头开始代码解析吧。

先来一个两个xy坐标的距离计算

1. class Point():
   
2.     def __init__(self, x1, y1, x2, y2):
   
3.         self.x1 = x1
   
4.         self.y1 = y1
   
5.         self.x2 = x2
   
6.         self.y2 = y2
   
7. 
   
8. 
   
9. class Line(Point):
   
10.     def __init__(self, x1, y1, x2, y2):
    
11.         super().__init__(x1, y1, x2, y2)
    
12. 
    
13.     def getlen(self):
    
14.         changdu = math.sqrt(math.pow((self.x1 - self.x2), 2) + math.pow((self.y1 - self.y2), 2))
    
15.         return changdu

复制代码

上面这段代码的使用方式如下

1. L1 = Line(x1, y1, x2, y2)  #传入两个xy坐标
   
2. L1.getlen() #return出两个坐标点的直线距离

复制代码

接下来直接上全代码解析 各位可以把类和方法分离出去

1. # 这里是导入依赖，需要这些库
   
2. import math
   
3. import sys
   
4. import time
   
5. 
   
6. import torch
   
7. import win32api
   
8. import win32con
   
9. import win32gui
   
10. from PyQt5.QtWidgets import QApplication
    
11. from pynput.mouse import Controller
    
12. import mouse
    
13. 
    
14. #这里这俩class就是文章上面说的那个传入两个坐标点，计算直线距离的
    
15. class Point():
    
16.     def __init__(self, x1, y1, x2, y2):
    
17.         self.x1 = x1
    
18.         self.y1 = y1
    
19.         self.x2 = x2
    
20.         self.y2 = y2
    
21. class Line(Point):
    
22.     def __init__(self, x1, y1, x2, y2):
    
23.         super().__init__(x1, y1, x2, y2)
    
24. 
    
25.     def getlen(self):
    
26.         changdu = math.sqrt(math.pow((self.x1 - self.x2), 2) + math.pow((self.y1 - self.y2), 2))
    
27.         return changdu
    
28. 
    
29. #第一步：我们获取到某FPS游戏的窗口句柄
    
30. hwnd = win32gui.FindWindow(None, "穿越火线")
    
31. #这个方法是获取上面句柄窗口的窗口截图，用的是PyQt截图，有速度更快更好的方式的话可以换上
    
32. #截图完毕后保存在根目录的cfbg.bmp文件
    
33. def screen_record():
    
34.     app = QApplication(sys.argv)
    
35.     screen = QApplication.primaryScreen()
    
36.     img = screen.grabWindow(hwnd).toImage()
    
37.     img.save("cfbg.bmp")
    
38. 
    
39. 
    
40. #这里就是调用我们那yolo模型来进行推理啦，我设置的是cuda，也就是英伟达的GPU，因为cpu太慢了。
    
41. #如果自己的不能使用GPU推理的话把下面这两行改改，改成cpu的就可以了。
    
42. device = torch.device("cuda")
    
43. model = torch.hub.load('F:/yolov5-master', 'custom', 'F:/yolov5-master/yolov5n6.pt',
    
44.                        source='local', force_reload=False)  # 加载本地模型
    
45. # 这里是定义屏幕宽高[其实这俩就是游戏所对应的分辨率，比如：游戏里1920*1080这里就是1920*1080]
    
46. game_width = 1024
    
47. game_height = 768
    
48. # 这边就是开始实时进行游戏窗口推理了
    
49. #无限循环 -> 截取屏幕 -> 推理模型获取到每个敌人坐标 -> 计算每个敌人中心坐标 -> 挑选距离准星最近的敌人 -> 如果左键是按下状态则控制鼠标移动到敌人的身体或者头部(本文计算方式是移动到头部)
    
50. while True:
    
51.     # 截取屏幕
    
52.     screen_record()
    
53.     # 使用模型
    
54.     model = model.to(device)
    
55.     img = 'cfbg.bmp'
    
56.     # 开始推理
    
57.     results = model(img)
    
58.     # 过滤模型
    
59.     xmins = results.pandas().xyxy[0]['xmin']
    
60.     ymins = results.pandas().xyxy[0]['ymin']
    
61.     xmaxs = results.pandas().xyxy[0]['xmax']
    
62.     ymaxs = results.pandas().xyxy[0]['ymax']
    
63.     class_list = results.pandas().xyxy[0]['class']
    
64.     confidences = results.pandas().xyxy[0]['confidence']
    
65.     newlist = []
    
66.     for xmin, ymin, xmax, ymax, classitem, conf in zip(xmins, ymins, xmaxs, ymaxs, class_list, confidences):
    
67.         if classitem == 0 and conf > 0.5:
    
68.             newlist.append([int(xmin), int(ymin), int(xmax), int(ymax), conf])
    
69.     # 循环遍历每个敌人的坐标信息传入距离计算方法获取每个敌人距离鼠标的距离
    
70.     if len(newlist) > 0:
    
71.         # 存放距离数据
    
72.         cdList = []
    
73.         xyList = []
    
74.         for listItem in newlist:
    
75.             # 当前遍历的人物中心坐标
    
76.             xindex = int(listItem[2] - (listItem[2] - listItem[0]) / 2)
    
77.             yindex = int(listItem[3] - (listItem[3] - listItem[1]) / 2)
    
78.             mouseModal = Controller()
    
79.             x, y = mouseModal.position
    
80.             L1 = Line(x, y, xindex, yindex)
    
81.             # 获取到距离并且存放在cdList集合中
    
82.             cdList.append(int(L1.getlen()))
    
83.             xyList.append([xindex, yindex, listItem[0], listItem[1], listItem[2], listItem[3]])
    
84.         # 这里就得到了距离最近的敌人位置了
    
85.         minCD = min(cdList)
    
86.         # 如果敌人距离鼠标坐标小于150则自动进行瞄准，这里可以改大改小，小的话跟枪会显得自然些
    
87.         if minCD < 150:
    
88.             for cdItem, xyItem in zip(cdList, xyList):
    
89.                 if cdItem == minCD:
    
90.                     # 锁头算法：使用win32api获取左键按下状态，如果按下则开始自动跟枪
    
91.                     if win32api.GetAsyncKeyState(0x01):
    
92.                         # 控制鼠标移动到某个点：看不懂计算方式的话看文章下面讲解吧O(∩_∩)O
    
93.                         win32api.mouse_event(win32con.MOUSEEVENTF_MOVE, int(xyItem[0] - game_width // 2),int(xyItem[1] - (game_height - (xyItem[3] - xyItem[5])) // 2), 0, 0)
    
94.                     break

复制代码

好了，我们来讲解下这行代码

win32api.mouse_event(鼠标行为：这里用的是MOVE相对移动, x坐标,y坐标, 0, 0)
第一个参数，先设定鼠标的行为：使用相对移动，为什么不用绝对移动呢，因为绝对移动在游戏里是无效的
第二个参数，x轴相对移动的距离：敌人x坐标 - (屏幕宽度 / 2)
第三个参数，y轴相对移动的距离：敌人y坐标 - (屏幕高度 - (敌人最大y坐标 - 敌人最小y坐标) / 2)

第一第二个参数相对来说比较好理解，但是可能有人对于第三个y的相对移动的计算方式有点懵，我画了个图，希望可以看明白。

实例图   图比较简陋 勿喷



在其他fps游戏，我们只需要修改窗口名称参数和分辨率参数即可。

蓝灵火焰

刚好可以学习一下。

manarex

讲的真好 感谢分享。