Codeberg 再次被爬虫 "爬" 宕机

Codeberg 调查后发现阶段的爬虫(以华为为代表的 AI 爬虫)似乎已经能通过 Anubis 质询, 因为他们没有选择在已经受 Anubis 保护的服务路由上设置 IP 黑名单.
他们还分享了其中一台服务器(超过 25 核心)在承受爬虫攻击时的 htop 平均负载指标, 数值已经达到了 5831.24, 4755.10, 2710.22.

https://social.anoxinon.de/@Codeberg/115033790447125787

● Hack News: https://news.ycombinator.com/item?id=44914773

#Web #AI

via @[email protected]

Cloudflare 网站的 /cdn-cgi/trace 端点信息

fl=31g351             # Cloudflare 服务实例
h=www.cloudflare.com  # 目标主机名
ip=1.1.1.1            # 客户端 IP
ts=1700000000.000     # 访问会话的毫秒级时间戳
visit_scheme=https    # 访问协议
uag=Mozilla/5.0       # 客户端 UA
colo=TPE              # 客户端 IP 位置 (IATA)
sliver=none           # 访问流量被拆分至一组  Cloudflare 特定内部软件版本实例的标记
http=http/2           # 访问流量的 HTTP 版本
loc=TW                # 客户端位置国家代码 (ISO 3166)
tls=TLSv1.3           # SSL/TLS 版本
sni=plaintext         # SNI 加密状况 (plaintext 或 encrypted)
warp=off              # 访问流量是否通过 Warp 承载
gateway=off           # 访问流量是否经过 Zero Trust Gateway
rbi=off               # 访问结果是否通过远程浏览器隔离(RBI, Browser isolation)取得
kex=X25519MLKEM768    # TLS 密钥交换采用的方法

#Cloudflare #Web

via @[email protected]

CXPLAY World

我的 Instant View 模板和模板机器人 Instant View 让我想起了曾经 Google 面对移动 Web 时候推出的 AMP (Accelerated Mobile Pages) 网页技术, 这是种提倡专门为移动设备浏览器优化的 "简化版网页", 并且 Google 会为支持了 AMP 的网页提供在线缓存加速, 提高支持 AMP 网页在移动设备搜索结果中的排名权重, 进一步提升网页在 Chrome 浏览器中的打开速度, 这很符合早期移动互联网受制于低带宽数据网络的状况.什么是 AMP？…

这样反向适配的好处是无需审核, 适配即直接生效, 但坏处就是反向适配的 HTML 只能在这些已有模板的规则下生成, 没有自定义空间, 也没有使用其他模板函数的机会.

Instant View for Custom Domains – nikstar/blog

相对于反向适配, 更正向一点的使用办法是用 IV 的临时预览链接, 在链接里面组合 url 和模板 rhash 参数可以让 Telegram 显示特定模板下的 URL 预览表现, Telegram 官方也推荐这种做法.

Instant View - Publishing templates

于是就有了自己写模板和辅助 Bot 的想法, 一开始是自己的笔记站点, 然后是现在的 pixiv, 因为在 Telegram 上发 pixiv 的图特别是多图作品体验很差, 即使是现有的 pixiv 解析 Bot 也很差. 使用方式就是对着输入框 @autoivbot 然后输入链接即可, 不过 Bot 可能会宕机, 只能保证我自己用, 所以就当个演示好了.
IV 模板提供了很多(在我看来)很邪门但非常有用的函数, 不过当 Telegram 不可避免走上商业化路上的时候, 这些东西乃至整个 Instant View 就和 AMP 一样毫无商业价值. IV 的底层是 TelegramBot 这个爬虫, IV 等于直接将原始页面复制到了 Telegram 里面, 不会给原始平台贡献任何访客流量数据, 这对于现在还要和移动互联网争夺用户留存和浏览量的网页来说更是不可接受的. 并且随着 "现代前端" 的崛起, 想要在无头浏览器甚至是无 JavaScript 引擎的无头浏览器里面继续通过 DOM 二次解析这些 "现代" 网页应用的 HTML, 简直是一场噩梦.

#Web #Telegram

via Fediverse@cxplay (author: @cxplay@sir.social)

Cap.so - Screen Studio 和 Loom 开源替代

Cap 是个使用 TypeScript 开发, Tauri 打包的屏幕录制和剪辑软件, 代码在 AGPL-3.0 许可下开源. 这类屏幕录制软件以一站式的产品演示视频生产为核心构建, 内置简单的视频编辑器, 包含最常用的屏幕演示视频动效和画面模板, 便于开发者, 产品运营, 销售和数字教育工作者等录制鼠标光标操作和产品表现. Cap 同样也集成了云服务, 可供用户上传并共享屏幕录制. Cap 除了本体桌面软件, 还包含扩展云服务集成的模块 Cap Web.

Cap.so 的定价模型将软件和云服务分离, 基础的原生软件功能提供 US$29 每年或限时的 $58 一次性 Desktop License 许可购买; 包含云服务的 Cap Pro 在原生软件上附加提供了由软件开发主导公司 Cap Software, Inc. 代托管的 Cap Web 服务使用权.

Cap Web 代码同样开源并允许自托管, 这部分服务模块依赖于 MySQL 数据库, 和 Resend 供应的电子邮件服务, 存储后端仅支持 S3 或 S3 兼容存储, 官方推荐使用 Railway 部署. Resend 用于发送邮箱登录链接, 因为 Cap Web 被设计为仅支持一次性链接登录或 SSO 登录.

● GitHub: https://github.com/CapSoftware/Cap
● Cap Web 自托管指南: https://cap.so/docs/self-hosting
● 网站: https://cap.so

#Software #macOS #Windows #Web #opensource

via Fediverse@cxplay (author: @cxplay@sir.social)

ohUrlShortener - Go 语言编写的短链接应用

Fomantic-UI 前端框架, Go 后端, Redis 缓存, PostgresSQL 数据库, 文档推荐使用 Docker 部署. HTTP:302 服务端跳转实现, 自带访问统计, 所有短链接会在启动的时候存入 Redis. 支持 API 扩展对短链接的增删查改和账户管理. 代码在《木兰宽松许可证, 第2版》许可下开源.

● GitHub: https://github.com/barats/ohUrlShortener
● 网站: https://www.ohurls.cn

#Software #Web #opensource #短链接

via Fediverse@cxplay (author: @cxplay@sir.social)

#article #read

A 14kb page can load much faster than a 15kb page (2022) | Hacker News
* https://news.ycombinator.com/item?id=44613625
* https://endtimes.dev/why-your-website-should-be-under-14kb-in-size/

#Web #TCP

via Nostr@cxplay_clip

CXPLAY's Clip (npub18d…0sy5z)

CXPLAY's Clip on Nostr:

A 14kb page can load much faster than a 15kb page (2022) | Hacker News * https://news.ycombinator.com/item?id=44613625 * https://endtimes.dev/why-your-website-should-be-under-14kb-in-size/ #Web #TCP

HTTP 3xx 系列状态码

最乱之系列
最迷惑之标准名
最滥用之王

● 300 Multiple Choices: 多个(目标)选择; 服务器响应了请求但有多个重定向目标, 在多个 Link 标头中指示客户端进行主动选择. Chrome 和 Firefox 没有处理这个状态码的标准方法, 如果含有 Location 则 Firefox 会立即重定向, Chrome 会忽略.
● 301 Moved Permanently: 永久移动; 指示客户端访问的资源已经永久移动到了一个位于响应标头为 Location 的新位置. 客户端应该继续在新位置重新相同请求, 并且应该更新旧地址为新的 Location 位置. 但是大多数客户端不会对 POST 请求得到的 HTTP:301 响应进行正确地继续 POST 行为, 还会往响应的 Location进行 GET 请求获取资源, 这种客户端意图为 "POST 已经成功, 但是结果是在新地址上", 这本来应该是 HTTP:303 的指示, IETF 针对这种普遍错误的情况引入了新的 HTTP:308 状态码.
● 302 Found: 已找到; 指示客户端请求地址上的资源被暂时保存在了其他位置, 但客户端不应该像 HTTP:301 那样更新旧地址. 和 HTTP:301 的现实情况相同, 大多数客户端的 POST 意图并不会认为 HTTP:302 需要继续 POST, IETF 配套引入了 HTTP:307 状态码.
● 303 See Other: 在其他位置查看; 指示客户端请求的结果要在另一个 Location 标头位置找到, 然而这种行为在大多数的主流客户端中被用在了 HTTP:302 上. 这个状态码可以用来响应所有客户端 HTTP 请求方法, IETF 还要求除了 HEAD 请求响应外, 服务器应该在响应主体中包含一个和 Location 标头相同指向的超链接.
● 304 Not Modified: 没有更改; 服务器响应客户端的 GET 或 HEAD 条件请求. 例如, 客户端在请求中携带 If-None-Match 标头用于匹配上一次的服务端响应标头 Etag, If-Modified-Since 用于匹配 Last-Modified.
● 305 Use Proxy: 使用代理; 服务器响应客户端要求使用特定 Location 标头中的代理地址才能访问资源, 由于安全问题已被弃用.
● 306 Switch Proxy: 切换代理; 废弃草案, 和 HTTP:305 类似, 要求客户端切换到 Set-Proxy 响应标头中的代理地址, 并应用其中的代理规则.
● 307 Temporary Redirect: 临时重定向; 类似 HTTP:302, 但要求客户端必须在新的位置 Location 响应标头上继续做同样的请求, 不更新旧地址, 特别是 POST. 2014 年的 IETF 提案标准, 对 HTTP 来说太新, 一些旧客户端不支持.
● 308 Permanent Redirect: 永久重定向; 类似 HTTP:301, 但要求客户端必须在新的位置 Location 响应标头上继续做同样的请求, 更新旧地址为新地址, 特别是 POST. 2014 年的 IETF 提案标准, 对 HTTP 来说太新, 一些旧客户端不支持.

PS: 怎么 HTTP:301 和 HTTP:302 对应功能配对的新状态码的和都是 HTTP:609.

Series of posts on HTTP status codes

#HTTP #Web

via Fediverse@cxplay (author: @cxplay@sir.social)

FixMemos: 给 Memos 适配的链接预览修复和增强

● 实践演示: https://memos.cx.ms/memos/76gV8C8oNhturfZASfHYei (使用 Telegram 发送)

代为解析 Memos 实例备忘输出完整的 Open Graph 元数据, 也为 Telegram 的 Instant View 进行了针对适配.

使用方法

● 直接拼接: https://fix-memos.vercel.app/https://memos.cx.ms
● 在反向代理服务器对 Bot 流量进行条件重定向, 将 Bot 重定向到 FixMemos 的访问路径.

#Software #Web #opensource

via CXPLAY's Memos

ImageFlow - API 优先的单人图床

前端 TypeScript, 后端 Golang, 自带 WebP 和 AVIF 图片处理, 后端存储支持本机和 S3.

● GitHub: Yuri-NagaSaki/ImageFlow (NSFW 注意)
● 作者文章: ImageFlow自建图床：轻松管理和优化图片

#Software #Web #opensource #文件管理 #图像处理

via CXPLAY's Memos

#吐槽

telega.io 的 Cookie 同意图标, 是只猫在舔饼干, 重要的是它是动态的, 而且还是 SVG 的动画.
虽然不知道是不是原创, 但是我就直接拿来罢!

https://media.naeu.net/14a20364f1aaf28272ebd87ea6516dce25266e5d0551cb9c5cec592c482972ce.svg

#Web #design

via Nostr@cxplay

国产画布工具 mefo 正在春节促销, 终身会员 ￥690, 提供 50GB 云存储和 200MB 附件上限.

https://mefo.cc/

mefo 原名 colube, 首次启动在 2022 年左右. 目前基础设施位于 AWS 中国(宁夏数据中心).

#software #web #折扣

via CXPLAY's Memos

一些电子邮件消息标头解析工具:

● Google: https://toolbox.googleapps.com/apps/messageheader/analyzeheader
● Microsoft: https://mha.azurewebsites.net/ (aka.ms/mha)
● decode-spam-headers.py: https://github.com/mgeeky/decode-spam-headers
● 在线交互式标头验证工具 LearnDMARC: https://www.learndmarc.com/

#Software #Web #电子邮件

via CXPLAY's Memos

用 Golang 编写的 Gist 开源替代: OpenGist

● GitHub: https://github.com/thomiceli/opengist
● 演示: https://demo.opengist.io/

后端使用 git 管理片段版本, 可以直接用 git 初始化和推送片段修改到服务器. 数据库可用 SQLite, MySQL 和 PostgreSQL.

#Software #Web

via CXPLAY's Memos

fxZhihu - 给知乎适配的链接预览增强

支持 Telegram InstantView.

frostming/fxzhihu: 为知乎生成可分享的卡片及 Instant View

用法:

https://www.fxzhihu.com/question/328916733/answer/713121009

但由于 Instant View 模板到现在还没有审核通过, 所以目前只能通过 Telegram 的模板预览查看:

https://t.me/iv?url=https://www.fxzhihu.com/question/328916733/answer/713121009&rhash=6bebaec97e3897

由于知乎现在即使是访客不带 Cookie 也已经访问不了问答页面, 于是原始知乎链接的 TelegramBot 网页元信息抓取也已经做不到了, 所以这个工具就算不使用 Instant View 也能提升知乎问答链接在 Telegram 上的预览体验, 从没有到有也算是种增强吧.

● 开发者的介绍: https://t.me/fming_weekly/379

#Software #Web #opensource

via CXPLAY's Memos

又一个在线 JSON 格式化工具 - JSON For You

● 中国大陆版: https://json4u.cn/editor (免费)
● 国际版: https://json4u.com/editor (付费, 包含免费层)
● GitHub: https://github.com/loggerhead/json4u

#Software #Web #opensource #JSON

via CXPLAY's Memos

一个用自然语言生成颜文字表情的在线工具.

Kaomoji Drawer

#Software #Web #macOS #AIGC

via CXPLAY's Memos

一个测试蓝绿色彩感度的站点:

https://ismy.blue/

#Web #design

via CXPLAY's Memos

Apifox - 国产 API 调试软件

postman 替代品, 公网版本目前完全免费, 支持团队协作不限人数, 不限项目数, 不限接口数量, 支持商用. 内置 API 文档编辑器, 支持发布文档在团队内使用. 需要登录账号使用. 桌面客户端是网页客户端套壳.

https://apifox.com/

#Software #Web

via CXPLAY's Memos

Certimate - SSL 证书管理

Certimate 是一个带 Web UI 的开源 SSL 证书续订管理工具.

● GitHub: https://github.com/usual2970/certimate
● V2EX: https://www.v2ex.com/t/1067809

使用 Golang 开发, MIT 许可.

#Software #Web #SSL #opensource

via CXPLAY's Memos

goo.gl 的修复 "补丁", 在前面加个 g: https://ggoo.gl/

这个工具由台湾的一家短链接服务商提供.

#Web #短链接

via CXPLAY's Memos