Meu problema

Tenho um bucket S3 público que serve como solução de armazenamento para arquivos grandes (GBs) que envio para colegas e clientes. Os arquivos são excluídos automaticamente após algumas semanas.

O problema com essa configuração é que posso sofrer cobranças significativas se alguém iniciar um DDOS e fizer download em massa de um dos meus links. Posso acabar pagando enormes taxas de rede de saída e quero evitá-lo.

Uma solução pode ser acionar uma função do Lambda sempre que alguém baixar um objeto e incrementar um contador do DynamoDB para o objeto. Se o contador ultrapassar um limite razoável (digamos, 50 downloads), a função Lambda tornará o arquivo privado para evitar taxas adicionais.

Minha pergunta

Como posso configurar uma função do Lambda para ser acionada quando alguém solicita um arquivo de um bucket específico do S3?

Meu problema

Uma configuração de ciclo de vida do S3 altera as classes de armazenamento de objetos. Um uso típico é mover objetos periodicamente para classes de armazenamento mais baratas após um período de retenção especificado. Estou tentando configurar a entrada JSON do ciclo de vida na CLI, mas não consigo encontrar nenhuma referência para a estrutura do arquivo JSON.

O que eu tentei

• Ler configurações de ciclo de vida definido usando a AWS CLI
• Pesquisei minha pergunta no Google

Minha pergunta

Qual é a estrutura do arquivo JSON do ciclo de vida e como posso testá-la ou construí-la online?

Valor do alias do AWS Route53

Considere um domínio registrado no AWS Route53. As solicitações HTTP para este domínio devem ser atendidas por uma distribuição de CDN do AWS CloudFront. Para isso, Aé definido um registro de alias:

digresultados

No entanto, digos resultados mostram endereços IP reais. Na verdade, esses endereços IP não são constantes e mudam com o tempo:

# dig @1.1.1.1 serverlessdaystlv.io

...

;; ANSWER SECTION:
serverlessdaystlv.io.   60      IN      A       13.32.67.21
serverlessdaystlv.io.   60      IN      A       13.32.67.27
serverlessdaystlv.io.   60      IN      A       13.32.67.97
serverlessdaystlv.io.   60      IN      A       13.32.67.122
serverlessdaystlv.io.   60      IN      A       13.32.67.141
serverlessdaystlv.io.   60      IN      A       13.32.67.159
serverlessdaystlv.io.   60      IN      A       13.32.67.201
serverlessdaystlv.io.   60      IN      A       13.32.67.216

# dig @1.1.1.1 serverlessdaystlv.io

...
;; ANSWER SECTION:
serverlessdaystlv.io.   60      IN      A       52.222.232.13
serverlessdaystlv.io.   60      IN      A       52.222.232.24
serverlessdaystlv.io.   60      IN      A       52.222.232.43
serverlessdaystlv.io.   60      IN      A       52.222.232.55
serverlessdaystlv.io.   60      IN      A       52.222.232.63
serverlessdaystlv.io.   60      IN      A       52.222.232.104
serverlessdaystlv.io.   60      IN      A       52.222.232.136
serverlessdaystlv.io.   60      IN      A       52.222.232.224

Minha pergunta

O que é um registro de Alias ​​do Route53? É um tipo integrado de registro DNS ou simplesmente um alias interno da AWS para o IP real da distribuição do CloudFront que nunca é exposto ao exterior?

Meu problema

Estou tentando criar um CDN pessoal para compartilhar arquivos estáticos com meus contatos. O design inclui um bucket S3, uma distribuição CloudFront e um subdomínio registrado via Route53, todos configurados usando o Terraform.

No entanto, posso acessar meus arquivos via S3 e Cloudfront, mas não pelo meu subdomínio ( cdn.adamatan.com).

O que está funcionando

S3

curl http://cdn.adamatan.com.s3.amazonaws.com/index.html

CloudFront

curl https://d36tl9ayobqfgg.cloudfront.net/index.html

O que está quebrado

Não consigo obter os arquivos usando o subdomínio. Além disso, o nslookupfor cdn.adamatan.come adamatan.connão funcionam. Acho que configurei mal o Route53 de alguma forma.

Configuração

Domínio

Zona hospedada

Configuração do Terraform

variable "hosted_zone" {
  default = "adamatan.com"
}

variable "domain" {
  default = "cdn.adamatan.com"
}

variable "aws_region" {
  default = "us-east-1"
}

provider "aws" {
  region  = "${var.aws_region}"
  profile = "personal"
  version = "~> 1.1"
}

/*
   The S3 bucket storing the files. It must bear the same name as the domain
   pointing to it. See https://gist.github.com/danihodovic/a51eb0d9d4b29649c2d094f4251827dd,
   and http://stackoverflow.com/a/5048129/2966951
*/
resource "aws_s3_bucket" "adamatan_cdn_bucket" {
  bucket = "${var.domain}"
  acl = "public-read"

  policy = <<EOF
{
      "Version":"2008-10-17",
      "Statement":[{
        "Sid":"AllowPublicRead",
        "Effect":"Allow",
        "Principal": {"AWS": "*"},
        "Action":["s3:GetObject"],
        "Resource":["arn:aws:s3:::${var.domain}/*"]
      }]
    }
  EOF

  tags {
    Description = "Origin bucket for my personal CDN"
  }
}

resource "aws_route53_zone" "cdn_zone" {
  name = "${var.hosted_zone}"
}

resource "aws_route53_record" "root_domain" {
  zone_id = "${aws_route53_zone.cdn_zone.zone_id}"
  name = "${var.domain}"
  type = "A"

  alias {
    name = "${aws_cloudfront_distribution.adamatan_cdn_distribution.domain_name}"
    zone_id = "${aws_cloudfront_distribution.adamatan_cdn_distribution.hosted_zone_id}"
    evaluate_target_health = false
  }
}

resource "aws_cloudfront_distribution" "adamatan_cdn_distribution" {
  origin {
    domain_name = "${var.domain}.s3.amazonaws.com"
    origin_id   = "${var.domain}"
  }

  enabled             = true
  is_ipv6_enabled     = true
  comment             = "Permanent public file distribution"
  default_root_object = "index.html"

  aliases = ["${var.domain}"]

  default_cache_behavior {
    allowed_methods  = ["GET", "HEAD", "OPTIONS"]
    cached_methods   = ["GET", "HEAD"]
    target_origin_id = "${var.domain}"

    forwarded_values {
      query_string = false

      cookies {
        forward = "none"
      }
    }

    viewer_protocol_policy = "allow-all"
    min_ttl                = 60
    default_ttl            = 300
    max_ttl                = 86400
  }

  price_class = "PriceClass_All"

  restrictions {
    geo_restriction {
      restriction_type = "none"
    }
  }

  viewer_certificate {
    cloudfront_default_certificate = true
  }
}


output "domain" {
  value = "${var.domain}"
}

output "cdn_domain" {
  value = "${aws_cloudfront_distribution.adamatan_cdn_distribution.domain_name}"
}

Minha pergunta

Como posso mapear meu subdomínio ( cdn.adamatan.com) para minha distribuição cloudfront ( d36tl9ayobqfgg.cloudfront.net) usando o Terraform (de preferência com suporte SSL)?

O problema

Eu tenho um servidor nginx servindo 3 subdomínios - digamos a.example.com, b.example.come c.example.com.

Os arquivos de configuração são a.example.com.conf, b.example.com.confe c.example.com.confrespectivamente. Eles são armazenados /etc/nginx/sites-availablee vinculados a partir de arquivos /etc/nginx/sites-enabled.

Nos arquivos de configuração, cada servercláusula tem sua server_namediretiva apropriada. Se for importante, todos os três subdomínios usam os mesmos problemas de certificado SSL da Let's Encrypt (que funciona bem).

Quando b.example.com.conffor removido de sites-enabled, espero uma mensagem de erro ao tentar navegar até ele. Surpreendentemente, o nginx redireciona o tráfego para arquivos a.example.com. Na verdade, toda conexão de entrada sem um nome de servidor correspondente /etc/nginx/sites-enabled- incluindo apenas o IP da máquina - é roteada para a.example.com.

Como configurar o nginx para tornar a serverdiretiva exclusiva, de modo que as solicitações para b.example.comnunca sejam atendidas por a.example.com?

Configuração

a.example.com.conf

server {
    listen 443 ssl;
    server_name a.example.com;

    ssl_certificate     /etc/letsencrypt/live/a.example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/a.example.com/privkey.pem;

    location / {
        proxy_pass http://localhost:8080;
    }
}

b.example.com.conf

server {
    listen 443 ssl;
    server_name b.example.com;

    # I'm using a multi-domain certificate called `a.example.com`, which is
    # serving a.example.com, b.example.com and c.example.com - not an error

    ssl_certificate     /etc/letsencrypt/live/a.example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/a.example.com/privkey.pem;

    location / {
        proxy_pass http://localhost:8090;
    }
}

Solução temporária

Criei um servidor padrão que captura todas as solicitações padrão e retorna o erro 404. No entanto, gostaria de ter uma solução mais holística para evitar solicitações de qualquer servidor fornecido por outro servidor.

server {
    listen       443  default_server;
    server_name  _;
    return       404;

    ssl_certificate     /etc/letsencrypt/live/a.example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/a.example.com/privkey.pem;
}

O problema

Depois de iniciar uma instância do Ubuntu 14.04 EC2 com volumes HD expandidos, o ssh falha com Connection refused.

O processo de expansão da EBS

Uma das minhas máquinas Ubuntu 14.04 EC2 estava com pouco tamanho de HD. Para resolver o problema, segui o próprio manual da AWS sobre expansão HD :

• Parou a máquina
• Separei ambos os volumes
• Tirou um instantâneo de ambos os volumes
• Criou volumes maiores a partir do instantâneo
• Anexei os novos volumes e iniciei a máquina

Além disso, aproveitei para adicionar um Elastic IP à máquina, se isso importa.

Depois de iniciar a máquina, recebo constantemente um Connection refusederro ao enviar ssh para ela. Tentei ssh de dentro da VPC para o IP privado e de fora. Usei o XX.X.XXX.XXIP e o ec2-XX-X-XXX-XX.compute-1.amazonaws.comnome DNS, a .pemchave original que baixei da AWS na criação e a chave ssh que coloquei no arquivo .ssh/authorized_keysda máquina.

Eu recebo a mesma resposta:

ssh: conectar ao host ec2-XX-X-XXX-XX.compute-1.amazonaws.com porta 22: Conexão recusada

Notas / O que eu tentei

• Eu conectei os volumes a outra instância e os verifiquei. Os arquivos estão lá.
• Eu tentei remover das PermitRootLoginlinhas de/etc/ssh/sshd_config .
• Tentei me conectar à máquina usando o cliente Java no console do EC2.
• Tentei conectar os volumes originais à máquina (antes da expansão). ainda consigo Connection refused.
• O volume raiz do EBS está conectado em /dev/sda1.

Solução

Atualização : Problema resolvido . Muito obrigado a todos aqui!

No Chrome, clicar no ícone verde de cadeado HTTPS abre uma janela com os detalhes do certificado:

Quando tentei o mesmo com cURL, obtive apenas algumas das informações:

$ curl -vvI https://gnupg.org
* Rebuilt URL to: https://gnupg.org/
* Hostname was NOT found in DNS cache
*   Trying 217.69.76.60...
* Connected to gnupg.org (217.69.76.60) port 443 (#0)
* TLS 1.2 connection using TLS_DHE_RSA_WITH_AES_128_CBC_SHA
* Server certificate: gnupg.org
* Server certificate: Gandi Standard SSL CA
* Server certificate: UTN-USERFirst-Hardware
> HEAD / HTTP/1.1
> User-Agent: curl/7.37.1
> Host: gnupg.org
> Accept: */*

Alguma idéia de como obter as informações completas do certificado de uma ferramenta de linha de comando (cURL ou outra)?

Eu mantenho um bando de servidores EC2 com ansible. Os servidores são atualizados regularmente e atualizados usando o módulo apt .

Quando tentei atualizar manualmente um servidor, recebi a seguinte mensagem:

$ sudo apt-get upgrade
Reading package lists... Done
Building dependency tree
Reading state information... Done
Calculating upgrade... Done
The following packages were automatically installed and are no longer required:
  linux-headers-3.13.0-29 linux-headers-3.13.0-29-generic
  linux-headers-3.13.0-32 linux-headers-3.13.0-32-generic
  linux-image-3.13.0-29-generic linux-image-3.13.0-32-generic
Use 'apt-get autoremove' to remove them.
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.

Existe uma maneira de executar sudo apt-get autoremovecom ansible?

O AWS EC2 oferece dois tipos de virtualização de máquinas Ubuntu Linux EC2 - PV e HVM.

VP:

HVM:

Qual a diferença entre esses tipos?

Gostaria de visualizar os cabeçalhos HTTP enviados do Apache (ouvindo na porta 80) para o Tomcat (na porta 4080) em uma máquina Linux.

Segundo a Wikipédia ,

Os campos de cabeçalho são pares nome-valor separados por dois pontos em formato de string de texto simples.

Eu tentei algumas variações do seguinte tcpdumpcomando:

$ sudo tcpdump -lnX dst port 4080 -c 10

11:29:28.605894 IP SOME_IP.33273 > SOME_IP.4080: P 0:49(49) ack 1 win 23 <nop,nop,timestamp 1191760962 509391143>
    0x0000:  4500 0065 3a9f 4000 3f06 0084 628a 9ec4  E..e:.@.?...b...
    0x0010:  628a 9c97 81f9 0ff0 9e87 eee0 144b 90e1  b............K..
    0x0020:  8018 0017 fb43 0000 0101 080a 4708 d442  .....C......G..B
    0x0030:  1e5c b127 4845 4144 202f 6461 7070 6572  .\.'HEAD./dapper
    0x0040:  5f73 6572 7669 6e67 2f41 644d 6f6e 6b65  _serving/AdMonke
    0x0050:  793f                                     y?

O resultado era sempre o mesmo - uma estranha mistura de palavras sem sentido e em inglês (por exemplo HEAD, ).

Como posso visualizar os cabeçalhos em um formato legível por humanos?

Existe um one-liner que concede as permissões SELECT a um novo usuário postgresql?

Algo que implementaria o seguinte pseudo-código:

GRANT SELECT ON TABLE * TO my_new_user;