All perguntas(coding)

O problema que tive foi que Poolusei todos os processos, mesmo tendo passado um inteiro no processesargumento, Poolque era muito menor que o número total de núcleos que o servidor tinha.

Eu uso pools de multiprocessamento para executar tarefas de longa duração. Por exemplo, executo o seguinte código simples.

n_cores = 20
with Pool(n_cores) as pool:
    results = pool.map(example_function, args)

Isso é muito mais do que o número de núcleos que configurei, mas limitei o número de núcleos a 20 para usar quantos eu precisasse. Executei o código esperando que funcionasse bem, e ele concluiu a tarefa muito mais rápido do que usando um único núcleo. Recentemente, verifiquei o uso de núcleos por meio do htopcomando no Ubuntu e me deparei com uma realidade chocante. Todos os núcleos estão sendo usados ​​enquanto a tarefa está em execução no pool, o que não era o que eu pretendia (usar 100% para todos os processos).

Gostaria de saber se existe uma solução alternativa para esse problema. Se não houver, precisamos considerar outros métodos, como o MPI.

Se estiver faltando alguma coisa, por favor me avise.

Obrigado.

Não consegui encontrar documentação para esse comportamento e parece ser um bug ([Editar] de fato é: gitlab.haskell.org/ghc/ghc/-/issues/10387 ). Estou esquecendo de algo?

Em GHCi:

    > import GHC.Real
    > inf = 1/O :: Double

    > inf
    Infinity

    > infinity
    1 % 0

    > fromRational infinity
    Infinity

    > toRational inf
    179769313486231590... % 1
    
    > toRational inf == infinity 
    False

[Editar:]

Existe uma solução alternativa. Usando o pacote ieee754 , é possível definir o seguinte:

import GHC.Real
import qualified Numeric.IEEE as IEEE

toRational' :: (IEEE.IEEE a, Real a) => a -> Rational
toRational' a
  | a == IEEE.infinity = infinity
  | a == -IEEE.infinity = -infinity
  | otherwise = toRational a

Quando adiciono um rótulo de texto vertical a um seaborngráfico de barras, os rótulos são deslocados para a esquerda do centro, assim:

Como posso deslocar os rótulos um pouco para a direita para que fiquem bem centralizados?

MWE:

import matplotlib.pyplot as plt
import seaborn as sns

percentages = [8.46950845e+00, 1.58712232e+01, 2.13963086e+01, 2.33865318e+01, 2.04539820e+01, 1.41358888e+01, 7.79622697e+00, 3.49245775e+00, 1.28729140e+00, 3.91327891e-01, 9.80073446e-02, 2.02461563e-02, 3.46222120e-03, 4.92413036e-04, 5.82500571e-05, 5.70562340e-06, 4.59952409e-07, 3.05322729e-08, 1.57123083e-09, 4.80936609e-11]

plt.figure(figsize=(9, 5), dpi=100)
ax = sns.barplot(
    x = range(1, len(percentages) + 1),
    y = percentages,
    legend=False,
    hue = range(1, len(percentages) + 1),
    palette="GnBu_d"
)
plt.text(0, percentages[0]/2, "Additive", ha="center", va="center", rotation=90, fontsize=10, weight="bold")
plt.text(1, percentages[1]/2, "Additive x Additive", ha="center", va="center", rotation=90, weight="bold")
plt.show()

Estou tentando acessar dados de cerca de 500 ações do "https://www.nseindia.com/report-detail/eq_security" para os quais mencionei as etapas.

1. Abra a URL
2. insira o símbolo da ação e clique na primeira opção do menu suspenso.
3. Clique em 1W para abrir os dados semanais.
4. Da tabela, extraia dados de uma data específica para Quantidade Total Negociada, Nº de Negociações, Qtd. Entregável e % Qtd Diária para Qtd. Negociada.
5. Salve esses dados em um arquivo CSV.

Então meu arquivo CSV conterá 5 colunas e cerca de 500 linhas, como abaixo.

Criei o código abaixo, mas esses são os problemas que estou enfrentando.

1. Ele está abrindo o Chrome novamente para cada símbolo, tentei apagar o símbolo anterior e inserir um novo, mas não está funcionando. Portanto, ele está coletando os mesmos dados para todas as ações
2. Não tenho dados históricos, então, se eu quiser ter dados de 3 meses para cada ação, preciso clicar em "3M" para coletar todos os dados. Mas não sei como fazer isso? Por favor, compartilhe este código separadamente.

Atualizarei a lista para incluir todas as ações e farei isso diariamente, então só preciso alterar a data no código no futuro.

Abaixo está o código que tenho:

import undetected_chromedriver as uc
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time
import csv
import os

# Step 1: Create a list of stock symbols (for illustration purposes, here are a few)
# You can replace this with a list of 500 stock symbols
stock_symbols = ["INFY", "TCS", "RELIANCE", "HDFCBANK", "ITC"]  # Add all 500 symbols here

# Define the CSV file name
csv_file = "nse_data.csv"

# Check if file already exists (to avoid writing headers again)
file_exists = os.path.isfile(csv_file)

# Step 2: Open browser and go to URL
driver = uc.Chrome()
driver.get("https://www.nseindia.com/report-detail/eq_security")
driver.maximize_window()
wait = WebDriverWait(driver, 10)

# Function to get data for a single stock
def get_stock_data(symbol):
    # Step 1: Clear the symbol input field and enter new symbol
    symbol_input = wait.until(EC.element_to_be_clickable((By.ID, "hsa-symbol")))

    # Clear the input field by sending backspace
    symbol_input.click()
    symbol_input.clear()  # Clear the previous symbol
    
    # Wait a moment to ensure the field is cleared before entering the new symbol
    time.sleep(0.5)  # Add a small delay for clarity

    # Enter the new symbol
    symbol_input.send_keys(symbol)  # Enter the new symbol
    print(f"✅ Selected symbol '{symbol}'")
    time.sleep(2)

    # Step 2: Click on the first dropdown option
    wait.until(EC.element_to_be_clickable((By.XPATH, "//div[@id='hsa-symbol_listbox']//div//div[1]"))).click()
    print(f"✅ Clicked on the first option for '{symbol}'")
    time.sleep(5)

    # Step 3: Click on the 1W button
    one_week_button = wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="oneW"]')))
    one_week_button.click()
    print(f"✅ Clicked on the 1W button for {symbol}")
    time.sleep(5)

    # Step 4: Parse the table and extract data for a specific date
    target_date = "11-Apr-2025"
    soup = BeautifulSoup(driver.page_source, "html.parser")

    table = soup.find("table", {"id": "hsaTable"})
    rows = table.find_all("tr")

    # Get headers to map column names to index
    headers = [th.text.strip() for th in rows[0].find_all("th")]

    # Mapping the column names we care about
    columns_of_interest = ["Date", "Total Traded Quantity", "No. of Trades", "Deliverable Qty", "% Dly Qt to Traded Qty"]
    indices = {col: headers.index(col) for col in columns_of_interest}

    # Look for the row with the target date
    for row in rows[1:]:
        cols = [td.text.strip() for td in row.find_all("td")]
        if cols and cols[indices["Date"]] == target_date:
            extracted_data = {
                "Symbol": symbol,
                "Date": cols[indices["Date"]],
                "Total Traded Quantity": cols[indices["Total Traded Quantity"]],
                "No. of Trades": cols[indices["No. of Trades"]],
                "Deliverable Qty": cols[indices["Deliverable Qty"]],
                "% Dly Qt to Traded Qty": cols[indices["% Dly Qt to Traded Qty"]],
            }
            print(f"✅ Data for {symbol} on {target_date}:")
            for key, val in extracted_data.items():
                print(f"{key}: {val}")
            break
    else:
        print(f"❌ No data found for date: {target_date} for {symbol}")
        extracted_data = None

    return extracted_data

# Write data for multiple stocks
for symbol in stock_symbols:
    extracted_data = get_stock_data(symbol)
    
    if extracted_data:
        # Write to CSV
        with open(csv_file, mode="a", newline="", encoding="utf-8") as f:
            writer = csv.DictWriter(f, fieldnames=extracted_data.keys())

            # Write header only once
            if not file_exists:
                writer.writeheader()

            # Write the row
            writer.writerow(extracted_data)

        print(f"✅ Data for {symbol} written to CSV.")

# Close the browser when all data is collected
driver.quit()

print("✅ All data extraction completed.")

Quero poder filtrar um dado data.frame por uma lista dinâmica.

Digamos que eu tenha uma lista de filtros como esta

filter_list = list(filter_1 = list(vs = c(0), carb = c(1,4)),
                   filter_2 = list(cyl = c(4,6)))

Existe uma maneira de filtrar um data.framelike mtcarsde forma que fique equivalente também

library(dplyr)

mtcars %>%
  filter(vs %in% c(0) & carb %in% c(1,4) |
           cyl %in% c(4,6))

usando o formulário filter_list acima? Então, cada elemento do filter_listé avaliado como ore cada item do elemento da lista de filtros é avaliado como um and.

Tentei usar um loop, mas não está funcionando como esperado:

df = mtcars
for(f in filter_list){
  vars = names(f)
  i = 1
  for(n in f){
    df = filter(df, !!vars[[i]] %in% n)
    i = i +1
  }
}

Isso retorna apenas um data.frame. A orcondição também é violada com a loopabordagem -.

No meu projeto Laravel, tenho de 5 a 6 filas diferentes. Cada fila aciona a próxima em uma ordem estrita, formando uma cadeia de processamento como:

Tarefa1 → Tarefa2 → Tarefa3 → Tarefa4 → Tarefa5

O fluxo é sempre acionado por uma solicitação externa que começa com Job1. Cada job executa uma operação de arquivo (criação/modificação de arquivos), e esses arquivos são armazenados localmente no servidor onde o job é executado.

O problema surge quando tento escalar horizontalmente adicionando mais servidores para lidar com as filas. Como as filas do Laravel são distribuídas, não há garantia de que o Job2 será processado pelo mesmo servidor que lidou com o Job1 — o que interrompe o fluxo, pois o Job2 precisa acessar o arquivo local criado pelo Job1.

O que eu preciso : quero garantir que, quando o Job1 começar em um servidor específico, toda a cadeia de jobs (Job2 a Job5) continue no mesmo servidor — mesmo em uma configuração de vários servidores.

O que tentei : anexar uma "ID de máquina" à carga útil do trabalho — mas isso não ajuda a garantir que o trabalho será executado pela mesma máquina.

Pesquisei on-line por "trabalhos fixos" ou "fixar trabalhos no mesmo trabalhador/servidor" — mas não consegui encontrar uma solução limpa ou oficial.

Minha pergunta : Alguém já lidou com um requisito semelhante antes? Existe uma maneira comprovada de fixar cadeias de tarefas no mesmo servidor no Laravel ao executar um sistema de filas distribuídas?

Estou criando meu próprio aplicativo de "biblioteca online" e recuperando dados de livros usando a API do Google Livros. A API funciona em geral, mas estou tendo problemas especificamente ao pesquisar por ISBN.

Para a maioria dos livros que tentei, a busca por ISBN não retorna resultados. No entanto, se eu usar o ID do livro do Google Livros, o livro é encontrado corretamente.

Gostaria de usar a busca por ISBN — por exemplo, escaneando um código de barras — mas, no momento, essa abordagem não é confiável. Alguém já passou por esse problema ou conhece uma solução alternativa?

Qualquer ajuda será apreciada!

PS: Também testei a API da Open Library e encontrei o mesmo problema com ISBNs que não retornavam resultados.

A função que estou usando:

def search_for_books(isbn, max_results=3):
    if not isinstance(max_results, int):
        max_results = 3
    API_ENDPOINT = 'https://www.googleapis.com/books/v1/volumes'
    params = {'q': f'isbn:{isbn}', 'maxResults': max_results}
    try:
        res = requests.get(API_ENDPOINT, params=params)
        return res.json()
    except requests.exceptions.RequestException:
        return []

Saída quando um ISBN não é encontrado:

{'kind': 'books#volumes', 'totalItems': 0}

Consegui implementar um pequeno projeto que me permite salvar dados no meu banco de dados Neo4j. No entanto, quando adiciono as dependências spring-boot-starter-data-jpa e ojdbc11, sem nenhuma outra modificação, recebo a mensagem de erro abaixo. Pesquisei na internet sem sucesso. Tentei implementar diferentes métodos de gerenciamento de transações para JPA e Neo4j, sem sucesso. Não sei se alguém pode me ajudar a usar as duas dependências na mesma aplicação.

O código completo está disponível aqui: link para o código-fonte do spring-neo4j

Error during migration: Cannot invoke "org.springframework.transaction.support.TransactionTemplate.execute(org.springframework.transaction.support.TransactionCallback)" because "this.transactionTemplate" is null
2025-04-15T09:43:12.236+01:00  INFO 20716 --- [spring-neo4j] [  restartedMain] .s.b.a.l.ConditionEvaluationReportLogger : 

Error starting ApplicationContext. To display the condition evaluation report re-run your application with 'debug' enabled.
2025-04-15T09:43:12.264+01:00 ERROR 20716 --- [spring-neo4j] [  restartedMain] o.s.boot.SpringApplication               : Application run failed

java.lang.NullPointerException: Cannot invoke "org.springframework.transaction.support.TransactionTemplate.execute(org.springframework.transaction.support.TransactionCallback)" because "this.transactionTemplate" is null
    at org.springframework.data.neo4j.core.Neo4jTemplate.save(Neo4jTemplate.java:382) ~[spring-data-neo4j-7.4.4.jar:7.4.4]
    at org.springframework.data.neo4j.repository.support.SimpleNeo4jRepository.save(SimpleNeo4jRepository.java:120) ~[spring-data-neo4j-7.4.4.jar:7.4.4]
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:na]
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:77) ~[na:na]
    at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:na]
    at java.base/java.lang.reflect.Method.invoke(Method.java:568) ~[na:na]
    at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:359) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.data.repository.core.support.RepositoryMethodInvoker$RepositoryFragmentMethodInvoker.lambda$new$0(RepositoryMethodInvoker.java:277) ~[spring-data-commons-3.4.4.jar:3.4.4]
    at org.springframework.data.repository.core.support.RepositoryMethodInvoker.doInvoke(RepositoryMethodInvoker.java:170) ~[spring-data-commons-3.4.4.jar:3.4.4]
    at org.springframework.data.repository.core.support.RepositoryMethodInvoker.invoke(RepositoryMethodInvoker.java:158) ~[spring-data-commons-3.4.4.jar:3.4.4]
    at org.springframework.data.repository.core.support.RepositoryComposition$RepositoryFragments.invoke(RepositoryComposition.java:515) ~[spring-data-commons-3.4.4.jar:3.4.4]
    at org.springframework.data.repository.core.support.RepositoryComposition.invoke(RepositoryComposition.java:284) ~[spring-data-commons-3.4.4.jar:3.4.4]
    at org.springframework.data.repository.core.support.RepositoryFactorySupport$ImplementationMethodExecutionInterceptor.invoke(RepositoryFactorySupport.java:731) ~[spring-data-commons-3.4.4.jar:3.4.4]
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:184) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.data.repository.core.support.QueryExecutorMethodInterceptor.doInvoke(QueryExecutorMethodInterceptor.java:174) ~[spring-data-commons-3.4.4.jar:3.4.4]
    at org.springframework.data.repository.core.support.QueryExecutorMethodInterceptor.invoke(QueryExecutorMethodInterceptor.java:149) ~[spring-data-commons-3.4.4.jar:3.4.4]
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:184) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.data.projection.DefaultMethodInvokingMethodInterceptor.invoke(DefaultMethodInvokingMethodInterceptor.java:69) ~[spring-data-commons-3.4.4.jar:3.4.4]
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:184) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:380) ~[spring-tx-6.2.5.jar:6.2.5]
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:119) ~[spring-tx-6.2.5.jar:6.2.5]
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:184) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.dao.support.PersistenceExceptionTranslationInterceptor.invoke(PersistenceExceptionTranslationInterceptor.java:138) ~[spring-tx-6.2.5.jar:6.2.5]
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:184) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:223) ~[spring-aop-6.2.5.jar:6.2.5]
    at jdk.proxy4/jdk.proxy4.$Proxy110.save(Unknown Source) ~[na:na]
    at com.example.service.NeoTransactionService.addExtbTransactionNode(NeoTransactionService.java:30) ~[classes/:na]
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:na]
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:77) ~[na:na]
    at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:na]
    at java.base/java.lang.reflect.Method.invoke(Method.java:568) ~[na:na]
    at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:359) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:196) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:163) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:380) ~[spring-tx-6.2.5.jar:6.2.5]
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:119) ~[spring-tx-6.2.5.jar:6.2.5]
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:184) ~[spring-aop-6.2.5.jar:6.2.5]
    at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:727) ~[spring-aop-6.2.5.jar:6.2.5]
    at com.example.service.NeoTransactionService$$SpringCGLIB$$0.addExtbTransactionNode(<generated>) ~[classes/:na]
    at com.example.Neo4jRunner.run(Neo4jRunner.java:40) ~[classes/:na]
    at org.springframework.boot.SpringApplication.lambda$callRunner$5(SpringApplication.java:788) ~[spring-boot-3.4.4.jar:3.4.4]
    at org.springframework.util.function.ThrowingConsumer$1.acceptWithException(ThrowingConsumer.java:82) ~[spring-core-6.2.5.jar:6.2.5]
    at org.springframework.util.function.ThrowingConsumer.accept(ThrowingConsumer.java:60) ~[spring-core-6.2.5.jar:6.2.5]
    at org.springframework.util.function.ThrowingConsumer$1.accept(ThrowingConsumer.java:86) ~[spring-core-6.2.5.jar:6.2.5]
    at org.springframework.boot.SpringApplication.callRunner(SpringApplication.java:796) ~[spring-boot-3.4.4.jar:3.4.4]
    at org.springframework.boot.SpringApplication.callRunner(SpringApplication.java:787) ~[spring-boot-3.4.4.jar:3.4.4]
    at org.springframework.boot.SpringApplication.lambda$callRunners$3(SpringApplication.java:772) ~[spring-boot-3.4.4.jar:3.4.4]
    at java.base/java.util.stream.ForEachOps$ForEachOp$OfRef.accept(ForEachOps.java:183) ~[na:na]
    at java.base/java.util.stream.SortedOps$SizedRefSortingSink.end(SortedOps.java:357) ~[na:na]
    at java.base/java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:510) ~[na:na]
    at java.base/java.util.stream.AbstractPipeline.wrapAndCopyInto(AbstractPipeline.java:499) ~[na:na]
    at java.base/java.util.stream.ForEachOps$ForEachOp.evaluateSequential(ForEachOps.java:150) ~[na:na]
    at java.base/java.util.stream.ForEachOps$ForEachOp$OfRef.evaluateSequential(ForEachOps.java:173) ~[na:na]
    at java.base/java.util.stream.AbstractPipeline.evaluate(AbstractPipeline.java:234) ~[na:na]
    at java.base/java.util.stream.ReferencePipeline.forEach(ReferencePipeline.java:596) ~[na:na]
    at org.springframework.boot.SpringApplication.callRunners(SpringApplication.java:772) ~[spring-boot-3.4.4.jar:3.4.4]
    at org.springframework.boot.SpringApplication.run(SpringApplication.java:325) ~[spring-boot-3.4.4.jar:3.4.4]
    at org.springframework.boot.SpringApplication.run(SpringApplication.java:1361) ~[spring-boot-3.4.4.jar:3.4.4]
    at org.springframework.boot.SpringApplication.run(SpringApplication.java:1350) ~[spring-boot-3.4.4.jar:3.4.4]
    at com.example.SpringNeo4jApplication.main(SpringNeo4jApplication.java:10) ~[classes/:na]
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:na]
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:77) ~[na:na]
    at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:na]
    at java.base/java.lang.reflect.Method.invoke(Method.java:568) ~[na:na]
    at org.springframework.boot.devtools.restart.RestartLauncher.run(RestartLauncher.java:50) ~[spring-boot-devtools-3.4.4.jar:3.4.4]

2025-04-15T09:43:12.277+01:00  INFO 20716 --- [spring-neo4j] [  restartedMain] o.s.b.w.e.tomcat.GracefulShutdown        : Commencing graceful shutdown. Waiting for active requests to complete
2025-04-15T09:43:12.495+01:00  INFO 20716 --- [spring-neo4j] [tomcat-shutdown] o.s.b.w.e.tomcat.GracefulShutdown        : Graceful shutdown complete
2025-04-15T09:43:12.499+01:00  INFO 20716 --- [spring-neo4j] [  restartedMain] o.neo4j.driver.internal.InternalDriver   : Closing driver instance 2128206805
2025-04-15T09:43:12.731+01:00  INFO 20716 --- [spring-neo4j] [  restartedMain] j.LocalContainerEntityManagerFactoryBean : Closing JPA EntityManagerFactory for persistence unit 'default'
2025-04-15T09:43:12.735+01:00  INFO 20716 --- [spring-neo4j] [  restartedMain] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Shutdown initiated...
2025-04-15T09:43:12.751+01:00  INFO 20716 --- [spring-neo4j] [  restartedMain] com.zaxxer.hikari.HikariDataSource       : HikariPool-1 - Shutdown completed.

O pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>3.4.4</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>spring-neo4j</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>spring-neo4j</name>
    <description>Demo project for Spring Boot</description>
    <url/>
    <licenses>
        <license/>
    </licenses>
    <developers>
        <developer/>
    </developers>
    <scm>
        <connection/>
        <developerConnection/>
        <tag/>
        <url/>
    </scm>
    <properties>
        <java.version>17</java.version>
    </properties>
    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-jpa</artifactId>
        </dependency>
        <dependency>
            <groupId>com.oracle.database.jdbc</groupId>
            <artifactId>ojdbc11</artifactId>
            <version>21.11.0.0</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-neo4j</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <annotationProcessorPaths>
                        <path>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </path>
                    </annotationProcessorPaths>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

Preciso migrar duas tabelas muito grandes continuamente. Minha primeira solução foi comparar coluna por coluna para descobrir o que havia mudado, mas isso é muito caro de executar.

A segunda ideia foi criar Colunas Computacionais PERSISTIDAS para armazenar valores com hash de colunas definidas. Isso poderia acelerar o processo. Mas o problema está no hash de colunas com timestamp e fuso horário. Estou recebendo este erro: ERROR: generation expression is not immutable.

Tentei várias maneiras de converter o valor, mas nada está funcionando ainda.

Código (valores comentados, não funcionou):

ALTER TABLE schema.table ADD COLUMN hashed_columns UUID GENERATED ALWAYS AS (
    md5(
        id::text ||
        type_id::text ||
        --EXTRACT(EPOCH FROM date)::text ||
        -- to_char(date::timestamp without time zone , 'YYYY-MM-DD"T"HH24:MI:SS') ||
        -- date::text ||
        -- to_char(date, 'YYYYMMDD')::integer ||
        -- md5(date::text) ||
        to_char(date, 'YYYYMMDD') ||
        value1::text ||
        value2::text
    )::uuid
) STORED;

Parece que ele detecta uma coluna imutável e simplesmente gera um erro, sem tentar convertê-la primeiro. O que estou tentando fazer é fundamentalmente errado ou é possível?

Quando removo a coluna de data do script, funciona, então o problema está no registro de data e hora.

O servidor está executando o Postgre 16.

Estou usando uvo Python como meu gerenciador de pacotes e tenho o seguinte comando para instalar um pacote com pip:

$ pip install pygraphviz --install-option="--include-path=/usr/include/graphviz" \ 
--install-option="--library-path=/usr/lib/graphviz"

Minha versão uv é 0.6.14, e a versão Python é 3.10.

Como posso obter a mesma instalação em uv?

O que eu tentei

1. uv adicionar pacote

   $ uv add pygraphviz
   

   Saída

   × Failed to build `pygraphviz==1.14`
   ├─▶ The build backend returned an error
   ╰─▶ Call to `setuptools.build_meta.build_wheel` failed (exit    status: 1)
   
     [stdout]
     running bdist_wheel
     running build
     running build_py
     ...
     gcc -fno-strict-overflow -Wsign-compare -DNDEBUG -g -O3 -Wall -  fPIC -DSWIG_PYTHON_STRICT_BYTE_CHAR -I/root/.cache/uv/builds-  v0/.tmpgLYPe0/include -I/usr/local/include/python3.12 -c  pygraphviz/graphviz_wrap.c -o
     build/temp.linux-x86_64-cpython-312/pygraphviz/graphviz_wrap.o
   
     [stderr]
     ...
     pygraphviz/graphviz_wrap.c:9: warning:   "SWIG_PYTHON_STRICT_BYTE_CHAR" redefined
         9 | #define SWIG_PYTHON_STRICT_BYTE_CHAR
           |
     <command-line>: note: this is the location of the previous definition
      pygraphviz/graphviz_wrap.c:3023:10: fatal error: graphviz/cgraph.h: No such file or directory
       3023 | #include "graphviz/cgraph.h"
           |          ^~~~~~~~~~~~~~~~~~~
     compilation terminated.
     error: command '/usr/bin/gcc' failed with exit code 1
   
     hint: This error likely indicates that you need to install a  library that provides "graphviz/cgraph.h" for `[email protected]`
   

   A postagem sugere a instalação libgraphviz-devem todo o sistema, mas essa não é uma opção para mim devido a restrições de permissão. Por isso, preciso saber como especificar o caminho da biblioteca para poder colocar os arquivos necessários em um diretório ao qual tenho acesso.

2. comando pip compatível com uv

   $ uv pip install pygraphviz --install-option="--include-path=/myfolder/include/graphviz" \ 
   --install-option="--library-path=/myfolder/lib/graphviz"
   

   Saída

   Output:
   
   error: unexpected argument '--install-option' found
   
     tip: a similar argument exists: '--reinstall'
   
   Usage: uv pip install --reinstall <PACKAGE|--requirements <REQUIREMENTS>|--editable <EDITABLE>|--group <GROUP>>
   
   For more information, try '--help'.