Danbooru模糊查找

Danbooru 模糊查找

本项目提供一种模糊查找 Danbooru 标签的方法。用户可以凭借模糊的语言描述，查找 Danbooru 数据集中对应的标签。

目前，仅支持使用汉语和英语进行查找。

⚠查找结果中可能包含NSFW内容。

🔗项目链接：https://huggingface.co/spaces/SAkizuki/DanbooruSearch

使用说明

本程序有三个查找参数：

• top_k：每个词取前top_k个相关的标签。

• 结果上限：对于整个查找，展示综合得分的前N名

• 热度权重：0~1，这个数值越高，标签频数在综合得分中的权重越大。推荐设为0.15

设置完查找参数后，用户可以在「画面描述」中输入汉语或英语的词语或自然语言，点击「开始搜索」后，程序将进行查找。

工作模式

完整画面查找

你可以输入对画面的完整描述，程序将生成匹配的danbooru标签集。

示例输入

一个穿着白色水手服、蓝色短裙的少女，在下着大雨的城市街道奔跑，她的标签是不甘、愤怒、流泪，她的衣服湿透。

建议参数

• top_k：较小，例如5

• 结果上限：一般的SDXL系生图模型支持70-80个标签，设为80

• 热度权重：0.15

示例输出

short_dress, city, streaming_tears, street, white_serafuku, tag, hashtag, clothes, furious, fume, label, rain, blue_background, tears, miniskirt, white_sailor_collar, shorts_under_skirt, dressing, serafuku, costume, shorts_under_dress, dress, crying, blue_skin, undressing, microskirt, object_in_clothes, tearing_up, blue_theme, black_serafuku, running, blue_shoes, >:(, shared_clothes, clothes_on_and_off, blue_liquid, jogging, clothes_in_front, wiping_tears, grey_serafuku, urban, angry, shorts, fleeing, town, wet_clothes, la_grondement_du_haine, wet_face, slug_girl, price_tag, changing_clothes, clothes_on_floor, angry_sex, wet_shirt, training_bra, wet_hair, sword_girls, cityscape, annoyed, running_on_liquid, outdoors, short_sleeves, supergirl, teardrop, girly_running, after_rain, short_shorts, blue_eyes, taking_shelter, city_lights, |_|, running_towards_viewer, nipple_tag, wet_floor, showering, mourning, ^^^, wet_jacket, w, chasing

同时，程序输出一份详细的查询结果表格，用户也可以在表格中选择合适的标签

image-20260208212616475

关键词精准查找

你或许对某个词有模糊的印象，但不知道它对应的danbooru标签具体是什么。此时，你可以使用此程序精确查找。

示例输入

假肢

建议参数

• top_k：较小，例如5

• 结果上限：较小，例如10

• 热度权重：0.15

示例输出

running_blades, prosthetic_leg, peg_leg, severed_limb, fake_claws, fake_nails, detached_legs, multiple_legs, separated_legs, alternate_footwear

image-20260208212925262

概念模糊查找

你可能像搜索关于某一个概念的关键词。此时，你可以使用此程序进行概念模糊查找。

示例输入

裙子

建议参数

• top_k：较大，例如40

• 结果上限：较大，例如80

• 热度权重：0.15

示例输出

skirt, dress, one_piece, white_skirt, black_skirt, upskirt, skirt_set, long_skirt, long_dress, pink_skirt, skirt_hold, skirt_lift, sweater_dress, skirt_suit, multicolored_skirt, skirt_pull, under_skirt, gown, dress_lift, unworn_skirt, skirt_tug, print_skirt, dress_tug, dress_flower, orange_skirt, flower_skirt, flower_dress, wet_dress, skirt_under_dress, wet_skirt, dress_ribbon, taut_skirt, armored_skirt, culottes, swimsuit_skirt, skort, skirt_rolled_up, dress_flip, skousers, dress_over_shirt, striped_clothes, dress_shirt, sleeveless_dress, undressing, clothes, lingerie, striped_dress, layered_dress, adjusting_clothes, multicolored_dress, clothes_between_thighs, hooded_dress, dressing, layered_clothes, clothes_on_floor, evening_gown, dress_shoes, hand_under_clothes, tearing_clothes, multicolored_clothes, clothed_female_nude_female, clothes_down, ballerina, holding_cloth, changing_clothes, shorts_under_dress, cloth, shirt_under_dress, clothes_on_and_off, folded_clothes, hand_under_dress, clothes_on_shoulders, dress_suit, reflective_clothes, night_clothes

image-20260208213214790

技术说明

本项目实现了一个基于 Web 的语义检索工具。它解决了传统基于关键词匹配在检索绘画标签时，难以处理模糊描述、同义词或自然语言描述的痛点。系统利用预训练的向量模型将用户输入的自然语言描述映射到高维向量空间，并与预先构建的标签向量库进行相似度匹配，最终结合标签热度进行混合排序推荐。

系统在首次启动或缓存缺失时，执行以下 ETL 流程：

1. 数据清洗:
   • 读取标签列表，处理字符编码（UTF-8/GBK）。这是一个保存Danbooru的所有标签的表格文件，其中必须有name（标签名）、cn_name（标签中文含义）、post_count（标签频数）三个字段
   • 对 post_count 进行对数变换，计算 max_log_count，用于归一化处理，实现热度加权搜索的同时，防止热门标签权重过大淹没语义相关性。
2. 双语向量化 (Dual-Embedding):
   • 利用 SentenceTransformer ( BAAI/bge-m3模型) 分别对 中文含义 (cn_name) 和 英文标签名 (name) 进行 Embedding 编码。
   • 生成两个独立的向量矩阵：emb_cn (中文向量库) 和 emb_en (英文向量库)。
3. 分词优化:
   • 提取所有中文标签名，生成自定义词典，供 jieba 分词器加载，确保专业术语被正确切分。
4. 序列化缓存:
   • 将 DataFrame、向量矩阵、统计元数据打包为 danbooru_vectors_dual.pkl，大幅缩短后续启动时间。

检索过程采用 语义相似度 + 热度加权 的混合策略：

1. 查询预处理:

   • 使用 jieba 对用户输入进行分词。
   • 去除无含义的停用词，保留关键词。
   • 构建查询列表：[原始完整查询句, 关键词1, 关键词2, ...]。

2. 向量检索:

   • 将查询列表转换为向量。
   • 并行计算查询向量与 emb_cn 和 emb_en 的余弦相似度。
   • 获取 前K 个候选项。

3. 混合重排序

   • 根据评分公式：

     \[ FinalScore = Score_{semantic} \times (1 - w) + Score_{popularity} \times w \]

     • \(Score_{semantic}\): 向量余弦相似度。
     • \(Score_{popularity}\): 归一化后的热度分数 (\(\frac{\ln(1+count)}{max\_log\_count}\))。
     • \(w\): 用户可调节的热度权重参数。

4. 去重与过滤:

   • 合并中英文检索结果，去除重复标签。
   • 应用阈值过滤。
   • 截断结果列表。

---

本站的运行成本约为每个月5元人民币，如果您觉得本站有用，欢迎打赏，或者给本博客的GitHub项目点一颗星