Az Amazon SageMaker AI támogatja a KV cache routingot
| Olvasási idő: < 1 perc |
Az Amazon SageMaker AI új KV cache-aware routing featuret kínál a real-time AI endpointokhoz, csökkentve a várakozási időt a long promptok és modellek esetében.
