avatar
文章
52
标签
18
分类
8
首页
专题
  • 智慧交通
  • 机器人学
  • 机器学习
  • 赛博朋克
  • 职场生涯
分类
  • 专家观点
  • 技术产品
  • 产业观察
tags
时光机
链接
About
論文範开源情报技术及资源框架 返回首页
搜索
首页
专题
  • 智慧交通
  • 机器人学
  • 机器学习
  • 赛博朋克
  • 职场生涯
分类
  • 专家观点
  • 技术产品
  • 产业观察
tags
时光机
链接
About

开源情报技术及资源框架

发表于2023-07-18|更新于2026-10-26|职场生涯技术产品博览
|浏览量:|评论数:
文章作者: Kyle
文章链接: http://papers.fun/2023/07/18/0开源情报osint技术及资源/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 論文範!
gamingStrategy多源异构信息持续集成
cover of previous post
上一篇
winAppDriver对桌面微信的自动化测试
系列文章微信公众号数据采样试验mitmproxy实时数据处理appium对手机微信的自动化测试winAppDriver对桌面微信的自动化测试UI Automation对桌面微信的自动化测试基于机器视觉的桌面窗体组件的目标检测.notFinished 需求和目标在winAppDriver 对桌面微信的自动化测试中, 我们实现了通过抓取网络流量, 对公众号内容的收集. 为了更高效地对内容进行批量采集, 我们需要一种自动化的方法, 从而批量地激活网页流量. 因此, 在appium 对手机微信的自动化测试中, 我们试图用Appium对手机微信进行自动化操作, 同时以PC作为中间代理, 从而在PC上截获手机流量, 对内容进行爬取. 但这种方法存在两个缺陷: 需要对手机的Android进行root, 并植入用户证书. 而从Android12之后, 系统不再信任用户证书. 为了绕后系统安全措施, 我们需要进一步对手机微信app进行逆向; 通过手机微信进行爬取, 需要长时间无法使用手机. 如果任务量太大, 可能需要专门的手机. 成本太高. 所以需要反思: 我们是否问对了问题? 是否有其它的方式. 回到此项任务的需求, 我们只是需要点击微信公众号中的链接, 从而触发流量. 仅此而已. 手机上有微...
cover of next post
下一篇
appium对手机微信的自动化测试
系列文章微信公众号数据采样试验mitmproxy实时数据处理appium对手机微信的自动化测试winAppDriver对桌面微信的自动化测试UI Automation对桌面微信的自动化测试基于机器视觉的桌面窗体组件的目标检测.notFinished 需求与目标在该系列的前述文章中, 我们已经实现了对微信订阅号的文章的爬取. 所使用的方法就是利用mitmproxy截获流量, 并直接从网络流量中重构、还原文章内容及其其它元数据. 但是, 在这个过程中我需要在手机微信的app中, 手动地浏览并打开订阅号中的文章. 非常低效与耗费人工. 因此, 我需要一个工具, 帮我自动浏览微信订阅号(从而激活网络流量, 顺利抓取文章内容). 这就需要使用到手机端的软件自动化测试技术. 目前在手机端进行自动化测试的工具, 其中功能比较完善的是Appium [1] . 本文的目标就是: 利用Appium对手机软件的自动化测试方法, 对手机微信app自动地翻页、点击相关文章, 从而激活流量. (其余的抓取流量并重构公众号文章内容的功能, 我在前面的系列文章已经完成) 方案与实施端口转发:手机到WSL2如果是在Windows系统中, 使用WSL2环境(不是WSL1)运行mitmproxy的话, 即使手机的局域网代理...
相关推荐
cover
2023-07-15
Python工程项目的规范开发指南
系列文章网页爬虫第一课:从案例解构爬虫基本概念填坑18年:我总结的CSS选择器爬虫数据持久化方式的选择爬取静态博客网页以分析本网站拓扑结构python程序的性能测试及瓶颈分析Python工程项目的规范开发指南 学习动机以史为鉴, 可以少走弯路, 这对于一个新手来说是难得的经验. 在文章 Python开发避免踩坑指南 中, 作者提到: 写这篇文章的主要目的是帮助刚刚入门Python的同学和从其他语言转过来的同学,快速熟悉Python一般的生态圈,比如IDE使用、虚拟环境、项目结构管理、Debug、版本管理等等. 本文主要包含以下几个方面: 配置开发环境 虚拟环境管理和pip 项目目录结构 代码风格 版本管理 这些经验对于python程序开发的规范性是非常经典的指南. 而随着新技术、新工具的发展, 这些python程序开发规范有了新的演绎. 为了简明起见, 我将上述开发规范精简为以下几个方面、并按照循序渐进的顺序排列: 配置开发环境 程序版本管理 项目目录结构 代码风格 配置开发环境在文章 [1] 中, 作者使用virtualenv作为开发环境隔离的工具. 在我看来, python的虚拟环境隔离主要能提供这几方面的便利: 隔离各个项目之间的类库之间的干扰 锁定某个项目内部的类...
cover
2024-09-13
输出模块提示词:Search-general-knowledge-CN
功能目标在对某一个topic的最新发展近况进行调查时,可以使用RAG Flow的Agent同时对多个数据源进行搜索,获取最新的信息,兼顾查全率、查准率。 为了使输出结果更易于阅读,可以在输出模块中配置提示词,使输出结果兼顾排版美观、并符合“引文规范”,以便用户更快地了解搜索结果的主要内容、并快速跳转到数据源。 而对于topic不同的调查目的,其数据源的选择、输出结果的展示方式也会有所不同。一个常情形是:如果我们要对某个新的概念的常识(General Knowledge)进行调研,一般会这么做: 通过Google等通用搜索引擎、wiki垂直搜索引擎获得其通用知识。 在原文中直接以inline的方式给出参考文献,以便用户快速了解数据源。 围绕此目标,我们在RAGFlow中的Agent的设计方案及其相应的输出提示词如下文所示。 方案实现 输出模块的提示词: 12345678910111213141516171819202122232425262728Role: You are an intelligent assistant. Task: Chat with user. Answer the question based on the provided content from: Know...
cover
2023-05-12
ElasticSearch本地搜索系统(1.调研)
一直想整个自己的本地文件全文检索系统,受Index and search text from local files using ElasticSearch and sist2的影响,期望得到的效果图类似于sist2(基于ElasticSearch的衍生开发): 1. 系列文章ElasticSearch本地搜索系统(1.调研)安装ElasticStack全套件(2.实验)Elastic中文分词的设置及使用(3.工程化) 2. 笔记预览版Amet in ut proident in culpa. Aute nulla fugiat ipsum. Velit velit consectetur velit elit consequat in est. Tempor eu incididunt amet ad elit. Dolor in eiusmod sed sit dese runt magna, laboris esse consequat est nisi. Officia mollit cupidatat est. Id anim enim adipiscing non dolore. Esse dolore voluptate reprehenderit dolore. Do...

评论
avatar
Kyle
让洞见自然涌现
文章
52
标签
18
分类
8
渗透测试攻略
目录
  1. 1. OSINT工具箱
  2. 2. 信息来源
    1. 2.1. 普通科技网站
    2. 2.2. 专业科技网站
  3. 3. 情报机构团队
  4. 4. 阅读清单
    1. 4.1. 案例分析
    2. 4.2. 行业研究
    3. 4.3. 专项技术
    4. 4.4. 初学者指南
最新文章
herdr 的安装及 cooperative multi-CLI agent 配置2026-10-25
渗透测试对办公打印机的小试牛刀2026-10-10
图片超分辨率技术在ONSINT中的应用2026-10-01
KCF核相关滤波的应用场景浅析(学术篇, 2024年10月)2024-10-19
KCF核相关滤波的应用场景浅析(通用篇,2024年10月)2024-10-19
© 2023 - 2026 By Kyle框架 Hexo 8.1.2|主题 Butterfly 5.7.1.260810
搜索
数据加载中