Franck Dernoncourt's questions

Carreguei arquivos na minha conta do Azure e atingi minha cota (100):

Os arquivos foram enviados com:

from openai import AzureOpenAI
from config import AZURE_OPENAI_CONFIG

client = AzureOpenAI(
    azure_endpoint=AZURE_OPENAI_CONFIG["azure_endpoint"],
    api_key=AZURE_OPENAI_CONFIG["api_key"],
    api_version=AZURE_OPENAI_CONFIG["api_version"],
)

with open('training_set.jsonl', 'rb') as tf:  
    training_resp = client.files.create(file=tf, purpose="fine-tune")  

Como posso remover todos os meus arquivos de uma vez?

Eu uso um token obtido com az account get-access-tokenpara implantar GPTs ajustados no Azure, atualizá-los (por exemplo, alterando sua taxa máxima de acerto) ou removê-los.

Li em https://learn.microsoft.com/en-us/cli/azure/account?view=azure-cli-latest :

az account get-access-token: Obtenha um token para que os utilitários acessem o Azure.

O token será válido por pelo menos 5 minutos e, no máximo, 60 minutos. Se o argumento de assinatura não for especificado, a conta corrente será usada.

Atualmente, os tokens que obtenho são válidos por 15 minutos.

Como posso alterar a duração da validade de um token obtido com az account get-access-token?

Implantei um minimodelo GPT 4o ajustado no Azure, região northcentralus.

Estou recebendo este erro no portal do Azure ao tentar editá-lo (eu queria alterar a taxa máxima de acertos):

Este modelo não está disponível no recurso selecionado do Serviço OpenAI do Azure. Saiba mais sobre a disponibilidade do modelo.

Meu recurso selecionado no portal do Azure está em northcentralus:

No entanto, https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models?tabs=global-standard%2Cstandard-chat-completions#fine-tuning-models afirma que o minimodelo GPT 4o ajustado está disponível no Azure, região northcentralus:

O que eu perdi? Por que estou recebendo o erro "Este modelo não está disponível no recurso selecionado do Serviço OpenAI do Azure"?

Implantei o minimodelo GPT 4o com ajuste fino seguindo o tutorial do Azure sobre ajuste fino do GPT. Código para a fase de implantação:

# Deploy fine-tuned model

import json
import requests

token = '[redacted]'
subscription = '[redacted]'
resource_group = "[redacted]"
resource_name = "[redacted]"
model_deployment_name = "gpt-4o-mini-2024-07-18-ft" # Custom deployment name you chose for your fine-tuning model

deploy_params = {'api-version': "2023-05-01"}
deploy_headers = {'Authorization': 'Bearer {}'.format(token), 'Content-Type': 'application/json'}

deploy_data = {
    "sku": {"name": "standard", "capacity": 1},
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": "gpt-4o-mini-2024-07-18.ft-[redacted]", #retrieve this value from the previous call, it will look like gpt-4o-mini-2024-07-18.ft-[redacted]
            "version": "1"
        }
    }
}
deploy_data = json.dumps(deploy_data)

request_url = f'https://management.azure.com/subscriptions/{subscription}/resourceGroups/{resource_group}/providers/Microsoft.CognitiveServices/accounts/{resource_name}/deployments/{model_deployment_name}'

print('Creating a new deployment...')

r = requests.put(request_url, params=deploy_params, headers=deploy_headers, data=deploy_data)

print(r)
print(r.reason)
print(r.json())

O token foi gerado via az account get-access-token.

O limite de taxa (tokens por minuto) de uma instância do Azure OpenAI corresponde aos tokens de entrada, aos tokens de saída ou à soma de ambos?

Tenho vários grupos de recursos e instâncias na minha conta do Azure. No entanto, a Interface de Linha de Comando (CLI) do Azure não lista nenhum grupo nem recurso na minha conta do Azure:

franck [ ~ ]$ az group list
[]
franck [ ~ ]$ az resource list
[]

Por que o Azure CLI não lista nenhum grupo nem recurso na minha conta do Azure?

O que as contagens de token representam na aba de métricas no Azure OpenAI? Eu entendo o que é um token, e que uma contagem de token conta quantos tokens o LLM recebeu (tokens de entrada) e emitiu (tokens de saída), mas não entendo o que o valor no gráfico significa. Por exemplo, é o número de tokens usados ​​em um minuto?

Onde posso visualizar a lista de modelos OpenAI implantados no Azure?

Pensei que estivesse em "Gerenciamento de Recursos", mas não o vejo mais:

Quando vou para https://portal.azure.com/ , vejo todos os meus recursos, mas, a menos que eu clique em um deles, não vejo em qual local eles estão implantados. Como posso visualizar se tenho um recurso em um determinado local no Azure sem precisar clicar em cada um deles um por um? Se isso for importante, estou interessado nos recursos do Azure OpenAI.

Vejo na  calculadora de preços da Microsoft :

Qual é a diferença entre GPT-4o-global-deployment e GPT-4o-Regional-API no Azure OpenAI?

Qual é a diferença entre GPUs alocadas e cota de GPU no runAI?

Como desabilitar o filtro de conteúdo no Azure OpenAI? Vejo apenas "padrão" como opção:

mas a opção "padrão" faz a filtragem de conteúdo:

Como posso usar a AWS CLI ( aws s3) para ver se um bucket S3 tem versionamento ativado?

Eu tenho um balde AWS S3 s3://mybucket/. Executando o seguinte comando para contar todos os arquivos:

aws s3 ls s3://mybucket/ --recursive | wc -l

saídas:279847

Enquanto isso, a IU da web do console AWS indica claramente 355,524os objetos:

Por que aws s3 ls s3://mybucket/ --recursive | wc -llista menos arquivos do que o número de objetos mencionados na IU da web da AWS em meu bucket S3?

Respondendo aos comentários:

O versionamento de bucket está ativado :

Ao copiar dados entre buckets S3 por meio do console web da AWS, pode-se substituir a função de soma de verificação padrão:

Quão arriscado é não substituir a função de soma de verificação ao copiar dados entre buckets S3 por meio do console web da AWS?

Fiz upload de um grande número de arquivos e pastas para um bucket AWS S3 por meio de:

aws s3 cp . s3://mybucket --recursive

Como posso verificar se a transferência foi 100% bem-sucedida?

Quero copiar um bucket S3 da forma mais fiel possível (por exemplo, copiando todas as configurações de permissão).

O padrão:

aws s3 sync s3://old-bucket s3://new-bucket --source-region us-west-1 --region us-west-2 

apenas copia dados.

Como copiar um bucket S3 da forma mais fiel possível (por exemplo, copiando todas as configurações de permissão)?

Meu plano atual de mover um bucket S3 da região AWS us-west-1para a região AWS us-west-2, mantendo o mesmo nome de bucket, parece altamente ineficiente, pois copia o bucket inteiro duas vezes:

# Create new bucket in us-west-2
aws s3 mb s3://temp-bucket --region us-west-2
# Copy files from old to new bucket in us-west-2
aws s3 sync s3://my-bucket s3://temp-bucket --source-region us-west-1 --region us-west-2 
# Delete the old bucket in us-west-1
aws s3 rb --force s3://my-bucket 
# Create new bucket in us-west-2
aws s3 mb s3://my-bucket --region us-west-2
# Copy files from old to new bucket
aws s3 sync s3://temp-bucket s3://new-bucket

Como posso mover com eficiência um bucket S3 para uma nova região da AWS, mantendo o mesmo nome de bucket?

Criei vários recursos do Azure OpenAI na minha conta do Azure. Implantei modelos GPT em cada um dos recursos do Azure OpenAI. Eu os acesso por meio do Azure OpenAI Playground.

Posso visualizar o custo por dia da soma de todos os modelos implantados no meu recurso Azure OpenAI:

Não vejo nenhuma opção de modelo nos critérios de filtro ou agregação. Não vejo nenhuma outra página com gráfico de custos.

Como posso traçar meu custo diário no Azure OpenAI para um determinado modelo GPT (e, de maneira mais geral, qualquer modelo OpenAI)?

Criei vários recursos do Azure OpenAI na minha conta do Azure. Implantei modelos GPT em cada um dos recursos do Azure OpenAI. Eu os acesso por meio do Azure OpenAI Playground.

Quero analisar os custos incorridos pelos modelos GPT. Vejo que posso visualizar o custo por dia (por exemplo, veja a captura de tela abaixo mostrando o custo incorrido pelos modelos GPT em 5 de agosto).

Qual fuso horário é usado para determinar o que ocorre em um determinado dia?

Criei vários recursos do Azure OpenAI na minha conta do Azure. Implantei modelos GPT em cada um dos recursos do Azure OpenAI. Eu os acesso por meio do Azure OpenAI Playground. Como posso configurar cada recurso do Azure OpenAI para que não seja possível gastar mais de 50 USD mensais nele?

Tentei adicionar um orçamento, mas não consegui encontrar uma opção para estabelecer um limite rígido para as despesas.