Jelly's questions

O arquivo csv de entrada tem o seguinte esquema:

 latitude;longtitude
 90.232;24.244

Preciso gerar um arquivo de fluxo atualizando o esquema de entrada com o novo campo "json".

O esquema de resultados esperado é:

latitude;longtitude;json
90.232;24.244;"{\"type\":\"Point\",\"coordinates\":[90.232,24.244]}"

Então preciso extrair valores de latitude e longitude e colocá-los em json (representado como valor de string).

Para isso utilizei UpdateRecord com Propriedades:

O valor /json é:

  {"type":"Point","coordinates":[${\latitude},${\longtitude}]}

Eu também tentei:

 {"type":"Point","coordinates":[${latitude},${longtitude}]}

Mas a saída é:

 latitude;longtitude;json
 90.232;24.244;"{\"type\":\"Point\",\"coordinates\":[,]}"

Então nada é colocado em "espaços reservados" de coordenadas.

Alguém pode me ajudar?

Estou tentando usar o Scipy para cálculo de vetores ortogonais:

import numpy as np
from scipy import linalg

e1 = np.float16([-0.913,  -0.4072]).reshape(2,1)

e2 = linalg.orth(e1)

print(f'e_1 {e1} ,'
      f' ortogonal e2 is {e2}')

Eu esperava que a saída fosse:

   e2 is [[-0.4072] [0.913]]

Eu verifiquei, por: 0,913 * -0,4072 + (-0,4072)*0,913 = 0

Mas receba:

   e2 is [[-0.913] [-0.4072 ]]

O que estou fazendo errado?

Estou tentando implementar uma otimização simples com a biblioteca Scipy:

   def f1(x):
          sum(x)

   initial_x_1 = np.ndarray([1])

   res = optimize.minimize(f1, initial_x_1, [], 'COBYLA')

Mas obtive o erro:

    fx = fun(np.copy(x), *args)
     ^^^^^^^^^^^^^^^^^^^^^^

    TypeError: f1() takes 1 positional argument but 2 were given

Vou usar regex para expressões correspondentes, que:

1. Separados por um (e apenas um) hífen
2. Cada uma das duas partes não contém espaços

Então, corresponde:

ss-ss
12-s2
11-11
%@2s-#1

E não corresponde:

s s-ss
ss-s s
s s-s s
1 s-1s
1s-1 s
1 s-1 s
ss-ss-ss
s1-s2-s3

Existe alguma maneira de criar com regex?

Eu tento algo como:

^.[^ ]-[^ ]*

Mas ele corresponde apenas a expressões com qualquer número de hifens e qualquer ocorrência de espaço, por exemplo

 ss-ss-ss
 1 s-1 s

A tarefa é enviar uma mensagem com valor concreto ao tópico Kafka.

Por exemplo, quero enviar "someValue" como texto simples.

Qual propriedade do Kafka em PublishKafkaRecord_2_6 devo usar para essa finalidade?

Vejo, por exemplo, "FreeFormTextRecordSetWriter" como um serviço que grava o conteúdo de um RecordSet como texto de formato livre.

Mas onde dentro do PublishKafkaRecord_2_6 eu posso definir meu "someValue" para publicá-lo no tópico de destino.

Dado valor de data com mês e ano:

03.2020

Tentei convertê-lo em DateType da seguinte maneira:

to_timestamp(col("Date"), "MM.yyyy").cast(DateType)

Mas isso retornou algo que eu não esperava:

 2017-03-01

O valor retornado contém "01" adicional (valor do dia) e reordena mês e ano. Então o valor esperado é “03.2020”

Seguindo este conselho , também tentei:

 date_format(col("Date"), "MM.yyyy")

Mas neste caso a função retorna nulo.

O que estou fazendo de errado ?

Eu tenho o seguinte código Spark no Scala:

  def main(args: Array[String]): Unit = {
       val spark = SparkSession.builder.master("local").getOrCreate()
       import spark.implicits._

    val scheme = new StructType()
        .add(new StructField("state_id", IntegerType, true))
        .add(new StructField("state", StringType, true))
         .add(new StructField("recommendation", StringType, true))

  val statesDf: DataFrame = spark.read
        .format("jdbc")
        .schema(scheme)
        .option("driver", "org.postgresql.Driver")
        .option("url", "jdbc:postgresql://localhost:5432/postgres")
        .option("dbtable", "public.states")
        .option("user", "postgres")
        .option("password", "postgres")
        .load()

   statesDf.map(r => Row(r.getInt(0) * 2)).show()

  }

E recebo o erro próximo à função "mapa":

 No implicits found for parameter evidence$6: Encoder[Row]  

Eu esperava que "import spark.implicits._" fosse suficiente para evitar esse problema, mas me enganei

Estou tentando detectar o fragmento em imagem, representado neste exemplo do MATHLAB .

E eu uso a biblioteca OpenCV.

  import cv2
  import numpy as np
  from imutils.object_detection import non_max_suppression

  # Reading the image and the template
  img = cv2.imread('SourceImage.png')
  temp = cv2.imread('TargetFragment.png')
  # save the image dimensions
  W, H = temp.shape[:2]
  # Define a minimum threshold
  thresh = 0.4
  # Converting them to grayscale
  img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
  temp_gray = cv2.cvtColor(temp, cv2.COLOR_BGR2GRAY)
  # Passing the image to matchTemplate method
  match = cv2.matchTemplate(
            image=img_gray, templ=temp_gray,
            method=cv2.TM_CCOEFF_NORMED)
  # Select rectangles with
  # confidence greater than threshold
  (y_points, x_points) = np.where(match >= thresh)
  # initialize our list of rectangles
   boxes = list()
  # loop over the starting (x, y)-coordinates again
  for (x, y) in zip(x_points, y_points):
             # update our list of rectangles
             boxes.append((x, y, x + W, y + H))
  # apply non-maxima suppression to the rectangles
  # this will create a single bounding box
  boxes = non_max_suppression(np.array(boxes))
  # loop over the final bounding boxes
  for (x1, y1, x2, y2) in boxes:
         # draw the bounding box on the image
         cv2.rectangle(img, (x1, y1), (x2, y2),
                   (255, 0, 0), 3)
  cv2.imwrite('result.png', img)

A imagem grande é:

O fragmento alvo a ser detectado é:

Mas são detectadas 2 áreas, em vez de uma. Uma dessas áreas não contém o fragmento de destino:

O que eu perdi?

A tabela é representada pelos seguintes scripts:

CREATE TABLE sales (
  id SERIAL PRIMARY KEY,
  product_id INTEGER,
  sales_date DATE,
  quantity INTEGER,
  price NUMERIC
);

INSERT INTO sales (product_id, sales_date, quantity, price) VALUES
   (1, '2023-01-01', 10, 10.00),
   (1, '2023-01-02', 12, 12.00),
   (1, '2023-01-03', 15, 15.00),
   (2, '2023-01-01', 8, 8.00),
   (2, '2023-01-02', 10, 10.00),
   (2, '2023-01-03', 12, 12.00);

A tarefa é somar a quantidade de vendas dos últimos 3 dias para cada product_id. O período deve ser contado regressivamente a partir da data máxima (última) de cada product_id. Portanto, para 1, o máximo é 2023-01-03, o mesmo para 2. Mas para product_id 2 o último dia pode ser diferente de 1 - digamos 2023-01-05.

Aplicando esta consulta com função de janela na subconsulta:

select product_id, max(increasing_sum) as quantity_last_3_days
   from 
        (SELECT product_id,
         SUM(quantity) OVER (PARTITION BY product_id ORDER BY sales_date RANGE BETWEEN INTERVAL '2 days'
                PRECEDING AND CURRENT ROW) AS increasing_sum
         FROM sales) as s
   group by product_id;

Recebo a saída esperada:

  | product_id | quantity_last_3_days |
  |____________|______________________|            
  |_____1______|___________37_________|
  |_____2______|___________30_________|     
 

Mas será que a solução é ideal? Existe alguma maneira de resolver o problema usando a função window sem subconsulta?