Início / user-4907639

coolhand's questions

Martin Hope
coolhand
Asked: 2025-03-29 04:01:06 +0800 CST
  • 6

Tenho várias imagens de animais no mesmo diretório do script. Como posso modificar o script a seguir para processar uma imagem, mas forçar a saída a ser apenas uma seleção única de uma lista:

from pathlib import Path
import base64
import requests

def encode_image_to_base64(image_path):
    """Convert an image file to base64 string."""
    return base64.b64encode(image_path.read_bytes()).decode('utf-8')

def extract_text_from_image(image_path):
    """Send image to local Llama API and get text description."""
    base64_image = encode_image_to_base64(image_path)

    payload = {
        "model": "llama3.2-vision",
        "stream": False,
        "messages": [
            {
                "role": "user",
                "content": (
                    "With just one word, classify this image into one of these exact categories:\n"
                    "- dog\n"
                    "- cat\n"
                    "- butterfly\n"
                ),
                "images": [base64_image]
            }
        ]
    }

    response = requests.post(
        "http://localhost:11434/api/chat",
        json=payload,
        headers={"Content-Type": "application/json"}
    )

    return response.json().get('message', {}).get('content', 'No text extracted')

def process_directory():
    """Process all images in current directory and create text files."""
    for image_path in Path('.').glob('*'):
        if image_path.suffix.lower() in {'.png', '.jpg', '.jpeg', '.gif', '.bmp', '.webp'}:
            print(f"\nProcessing {image_path}...")

            text = extract_text_from_image(image_path)
            image_path.with_suffix('.txt').write_text(text, encoding='utf-8')
            print(f"Created {image_path.with_suffix('.txt')}")

process_directory()

No entanto, apesar da engenharia de prompt diferente, recebo algumas respostas que farão mais do que apenas selecionar de uma lista. Por exemplo, pode ocasionalmente gerar " Da imagem, há um inseto alado, portanto meu palpite é "borboleta". RESPOSTA: Borboleta. " Se eu definir a lista como allowed_options = ['dog', 'cat', 'butterfly']eu quero que ela produza apenas uma única string dessa lista e nada mais.

python
Martin Hope
coolhand
Asked: 2024-12-21 04:49:34 +0800 CST
  • 6

Digamos que eu construa um modelo BERTopic usando

from bertopic import BERTopic
topic_model = BERTopic(n_gram_range=(1, 1), nr_topics=20)
topics, probs = topic_model.fit_transform(docs)

A inspeção probsme dá apenas um único valor para cada item em docs.

probs
array([0.51914467, 0.        , 0.        , ..., 1.        , 1.        ,
       1.        ])

Eu gostaria de todo o vetor de probabilidade em todos os tópicos (então, neste caso, onde nr_topics=20, eu quero um vetor de 20 probabilidades para cada item em docs). Em outras palavras, se eu tiver N itens em docse K tópicos, eu gostaria de uma saída NxK.

Martin Hope
coolhand
Asked: 2024-04-23 23:20:21 +0800 CST
  • 5

Tenho um conjunto de dados de 3 classes de imagens, subdivididas em pastas de treinamento/validação/teste:

new_base_dir = '/Users/.../img_dir'
import os
from tensorflow.keras.utils import image_dataset_from_directory
  
train_dataset = image_dataset_from_directory(
    os.path.join(new_base_dir, 'train'),
    image_size=(180, 180),
    batch_size=10)
validation_dataset = image_dataset_from_directory(
    os.path.join(new_base_dir, 'validation'),
    image_size=(180, 180),
    batch_size=10)
test_dataset = image_dataset_from_directory(
    os.path.join(new_base_dir, 'test'),
    image_size=(180, 180),
    batch_size=10)

Eu verifiquei que existem 3 classes:

train_dataset
Found 3000 files belonging to 3 classes
<BatchDataset element_spec=(TensorSpec(shape=(None, 180, 180, 3), dtype=tf.float32, name=None), TensorSpec(shape=(None,), dtype=tf.int32, name=None))>

Estou primeiro carregando as imagens em um Xceptionmodelo pré-treinado:

# load a pre-trained model
import keras
from keras import layers
from keras.applications import VGG16

conv_base = keras.applications.xception.Xception(
    weights="imagenet",
    include_top=False,
    input_shape=(180, 180, 3))

import numpy as np
  
def get_features_and_labels(dataset):
    all_features = []
    all_labels = []
    for images, labels in dataset:
        preprocessed_images = keras.applications.xception.preprocess_input(images)
        features = conv_base.predict(preprocessed_images)
        all_features.append(features)
        all_labels.append(labels)
    return np.concatenate(all_features), np.concatenate(all_labels)
  
train_features, train_labels =  get_features_and_labels(train_dataset)
val_features, val_labels =  get_features_and_labels(validation_dataset)
test_features, test_labels =  get_features_and_labels(test_dataset)

No entanto, quando coloco em camadas um classificador densamente conectado, recebo um erro:

inputs = keras.Input(shape=(6, 6, 2048))
x = layers.Flatten()(inputs)             
x = layers.Dense(256)(x)
x = layers.Dropout(0.5)(x)
# the commented lines work fine for a binary classification model
#outputs = layers.Dense(1, activation="sigmoid")(x)
#model.compile(loss="binary_crossentropy",
#              optimizer="rmsprop",
#              metrics=["accuracy"])
outputs = layers.Dense(3, activation="softmax")(x)
model = keras.Model(inputs, outputs)
model.compile(loss="categorical_crossentropy",
              optimizer="rmsprop",
              metrics=["accuracy"])

Aqui está o erro:

ValueError: Shapes (None, 1) and (None, 3) are incompatible

python