Le stockage des données d'IA deviendra-t-il moins cher ? Que sont les nouveaux « Amazon S3 Vectors » d'AWS ?
Bonjour,AIJe suis Jon, un blogueur qui explique la technologie de manière simple et compréhensible !ChatGPTY comprisGénération IAdevient de plus en plus courante, mais dans les coulisses, la technologie permettant de gérer les données de manière efficace et à moindre coût évolue également à une vitesse incroyable.
Cette fois, nous allons présenter un nouveau service qui attire l’attention dans le monde de l’IA.Amazon Services Web (AWS) a annoncé "Vecteurs Amazon S3"à propos de,DébutantJe vais vous l'expliquer simplement pour que même ceux qui ne connaissent pas le sujet puissent comprendre !IACela pourrait réduire considérablement les coûts.
Tout d'abord, il faut savoir comment l'IA comprend le « sens » : que sont les « vecteurs » ?
Avant de parler des « vecteurs S3 », permettez-moi d’abord d’expliquer brièvement le mot « vecteur », qui est extrêmement important en IA.
L'IA, en particulier celle qui gère le texte et les images, ne perçoit pas le mot « chien » et ne comprend pas directement qu'il s'agit d'un « adorable animal à quatre pattes » comme les humains. L'IA peut traiter toutes les données (mots, texte, images, etc.) de manière « intelligente ».ベクトル« est converti en une collection de nombres à traiter. Considérez cela comme une sorte d'« adresse » qui représente numériquement les caractéristiques des données.
Par exemple, « chien » et « chat » ont des significations similaires, ils sont donc placés à des adresses proches sur cette « carte sémantique ». En revanche, « chien » et « bureau » ont des significations complètement différentes, et sont donc placés à des adresses très éloignées. L'IA utilise ces vecteurs (adresses) pour calculer rapidement le degré de similarité des données. Cela nous permet d'effectuer des recherches telles que « Trouver des images similaires à XX ».
Défis précédents : Les « bases de données vectorielles » sont-elles un peu chères ?
Ce « vecteur » pratique peut être stocké en grande quantité et recherché rapidement, mais jusqu'à présent,ベクトルBase de donnéesIl était courant d'utiliser une base de données dédiée appelée «
Les bases de données vectorielles sont très performantes pour les recherches de similarité et sont très puissantes. Cependant, elles nécessitent des mécanismes et un matériel spécifiques, ce qui entraîne des coûts de mise en œuvre et d'exploitation généralement élevés.
Même si cela ne constitue pas un problème pour les petits projets, pour les entreprises qui développent des applications d’IA à grande échelle, ces coûts peuvent être un casse-tête.
C'est là qu'intervient Amazon S3 Vectors !
AWS a donc annoncé l'objectif principal de cet article :Vecteurs Amazon S3Est!
En résumé, il s'agit d'un nouveau type d'entrepôt de données spécialisé dans le stockage de vecteurs. AWS propose déjà un service de stockage populaire appelé « S3 » (équivalent d'un immense entrepôt numérique) capable de stocker de grandes quantités de données à très faible coût. S3 Vectors est basé sur le mécanisme S3.
Alors, qu'est-ce qui la différencie des bases de données vectorielles précédentes ? Nous avons résumé ses principales fonctionnalités.
- Réduction des coûts considérable
C'est peut-être son principal argument de vente : AWS affirme qu'il réduira les coûts de téléchargement, de stockage et de recherche de vecteurs par rapport à l'utilisation d'une base de données vectorielle.Jusqu'à 90% de réductionC'est possible ! C'est parce qu'il utilise le mécanisme S3, plus simple et moins coûteux, plutôt qu'une base de données coûteuse. - Réduit les tracas opérationnels
Contrairement à auparavant, il n'est plus nécessaire de préparer un serveur pour une base de données vectorielle ni d'effectuer des paramétrages complexes. Les développeurs stockent simplement leurs données dans S3 Vectors, et AWS les gère de manière optimale en arrière-plan. - Grande capacité également disponible
Jusqu'à 1 1 index (comme un index de données) peuvent être créés dans un emplacement de stockage appelé « bucket », et chaque index peut stocker des dizaines de millions de vecteurs. Vous pouvez ainsi être serein, même en cas d'augmentation de vos données.
Intégrez-vous à d'autres services d'IA pour devenir plus intelligent et plus flexible
S3 Vectors est puissant en soi, mais sa véritable valeur apparaît lorsqu'il est intégré à d'autres services AWS.
Intégration avec Amazon Bedrock et SageMaker
En se connectant à des services d'IA génératifs comme Amazon Bedrock,CHIFFONCela permettra la création efficace d'applications appelées « Réponses aléatoires ». RAG est une technologie qui permet à l'IA de générer des réponses plus précises en lui fournissant des « aide-mémoire » contenant des expertises externes et les informations les plus récentes. Cela devrait également réduire les « hallucinations », où l'IA dit des choses qui ne sont pas fondées sur des faits.
Intégration avec Amazon OpenSearch Service
C'est une façon très astucieuse de l'utiliser. Les vecteurs peu utilisés peuvent être stockés dans les vecteurs S3 à faible coût. Ensuite, lorsque vous en avez besoin, vous pouvez les transférer vers un autre service appelé « Amazon OpenSearch Service », qui excelle dans les recherches rapides et effectue des recherches rapides en temps réel. Cela permet une grande flexibilité opérationnelle et vous permet de bénéficier du meilleur rapport coût/performance.
Au fait, Amazon S3 Vectors est actuellement disponible en version préliminaire dans certaines régions, notamment aux États-Unis, en Europe et en Asie-Pacifique (Sydney).
La technologie de l'IA paraît complexe, mais l'émergence de services comme celui-ci réduit les obstacles au développement, et il est encourageant de voir davantage de personnes et d'entreprises pouvoir utiliser l'IA. L'évolution technologique de l'IA est évidente, l'accent étant mis sur le coût et l'efficacité. J'ai hâte de voir les services d'IA qui nous entourent devenir plus abordables et plus intelligents à l'avenir.
Cet article est basé sur les articles originaux suivants et est résumé du point de vue de l'auteur :
AWS cherche à réduire les coûts de stockage pour les intégrations LLM avec
Vecteurs Amazon S3