Generar embeddings para miles de documentos

https://github.com/ray-project/langchain-ray/tree/main/embedding_pdf_documents

Scaling Embedding Generation with LangChain and Ray

Este es un paso a paso más detallado que explica cómo crear un clúster multi-nodo de Ray y ejecutar el código para el artículo de nuestro blog «Scaling Embedding Generation with LangChain and Ray».

Paso 1: Instala Ray localmente ejecutando el siguiente comando: pip install 'ray[default]'

Paso 2: Clona el repositorio ejecutando el siguiente comando: git clone https://github.com/ray-project/langchain-ray/ y luego ingresa al directorio con el siguiente comando: cd langchain-ray. Si es necesario, puedes editar el archivo YAML del clúster para realizar cambios.

Paso 3: Configura las credenciales necesarias de AWS (establece las variables de entorno AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY y AWS_SESSION_TOKEN). Luego, puedes iniciar un clúster de Ray utilizando el archivo YAML con el siguiente comando: ray up -y llm-batch-inference.yaml

Paso 4: Puedes acceder al panel de control remoto de Ray mediante el siguiente comando: ray dashboard llm-batch-inference.yaml. Esto configurará el reenvío de puertos necesario.

El panel de control se puede ver visitando la dirección http://localhost:8265

Paso 5: Puedes ver el progreso del inicio de los nodos trabajadores mediante el estado del escalador automático en el panel de control de Ray.

Paso 6: Copia el archivo requirements.txt y el código de inferencia por lotes de Ray al clúster de Ray utilizando los siguientes comandos:

arduino
ray rsync_up llm-batch-inference.yaml 'embedding_ray.py' 'embedding_ray.py'
ray rsync_up llm-batch-inference.yaml 'requirements.txt' 'requirements.txt'

Paso 7: En una ventana separada, accede al clúster de Ray mediante SSH con el siguiente comando: ray attach llm-batch-inference.yaml

Paso 8: Instala los requisitos en el nodo principal del clúster ejecutando el siguiente comando: pip install -r requirements.txt

Paso 9: Una vez que todos los nodos trabajadores hayan iniciado, ¡ejecuta el código de inferencia por lotes de Ray en el clúster!

python embedding_ray.py

Paso 10: ¡Después de que se complete la carga de trabajo, desmantela el clúster! Esto debe ejecutarse desde tu laptop, así que si aún estás en la terminal del clúster, asegúrate de salir con Control-C.

ray down llm-batch-inference.yaml

Estos pasos te guiarán a través del proceso de configuración y ejecución de un clúster de Ray para generar incrustaciones de manera escalable utilizando LangChain y Ray.