AI Data Hub

AI_data_hub

AI项目适用的数据中心，功能：Ingestion（数据摄取） Transform（数据加工） Explore（探索分析） Retrieve（查询检索）。 尽可能整合流行有用的数据库和AI数据功能，方便AI数据项目的开发： 整合各种数据库：mongo_db，postgres_db /Supabase, mysql , Chroma/Milvus, 整合langchain,langragh. 整合图片多模态/图片搜索 ，ALIYUN_OSS。 整合RAG和基础agent。 整合爬虫功能. 整合FastAPI

安装指南

1. 把data.env-dev 改为 .dev , 配置好参数秘钥：

AI Service APIs: OPENAI_API_KEY, OPENAI_MODEL, TAVILY_API_KEY
Database Connections: MONGO_URI, POSTGRES_USERNAME, POSTGRES_PASSWORD
Cloud Storage: ALIYUN_OSS_ACCESS_KEY_ID, ALIYUN_OSS_BUCKET_NAME
Web Scraping: XHS_AUTH_TOKEN, GZH_AUTH_TOKEN, SCRAPING_INTERVAL

1. 安装数据库环境：

Python conda环境： 
https://zhuanlan.zhihu.com/p/22678445 , 选择Python 3.10
conda active env_310

docker环境：
安装Postgres：
docker run --name my-postgres -e POSTGRES_USER=myuser -e POSTGRES_PASSWORD=mypassword -e POSTGRES_DB=mydatabase -p 5432:5432 -d postgres
安装Mongo：
docker run -d   --name mongodb  -p 27017:27017   mongo
安装Chroma：
conda install chromadb
docker run -d   --name chroma   -p 8000:8000   -v chroma-data:/data   chromadb/chroma

2.1 chroma安装成功调试：

Python ：
import chromadb
client = chromadb.PersistentClient(path="VECTOR_DB_DIRECTORY")
collection = client.get_collection("VECTOR_DB_COLLECTION")
print(collection.count())
print(collection.get())

1. 安装依赖：

pip install -r requirements.txt

1. 启动服务：

python rest_api/main.py

测试服务：

(env_310) D:\AI_data_hub>python -m  rag_graphs.gzh_rag_graph.ingestion  #测试rag

(env_310) D:\AI_data_hub>python -m scraper.xhs_scraper #测试爬虫

1. 访问：

http://localhost:8000

ingestion（数据摄取）

1. 该系统集成了多个用于 AI 处理的外部 API

OpenAI 集成 ：通过 OPENAI_BASE_URL https://openai.api2d.net/v1 使用 gpt-4.1-mini 模型
Tavily Search：通过 TAVILY_API_KEY 提供搜索功能
LangSmith Tracing：使用 ENABLE_LANGSMITH 配置的可选监控

1. 网页抓取和数据收集

小红书 （XHS）：取用tikhub.io第三方数据服务， 通过 XHS_AUTH_TOKEN 进行身份验证，可配置的页面限制 ，采集小红书相关丰富的数据
GZH 平台 ：取用tikhub.io第三方数据服务，通过 GZH_AU