AWS Glue Crawler не создает таблицу

проверьте роль IAM, связанную с поисковым роботом. Скорее всего, у вас нет правильного разрешения.

Если при создании искателя вы выбрали создание роли IAM (параметр по умолчанию), он создаст политику только для указанного вами объекта S3. если позже вы отредактируете краулер и измените только путь S3. Роль, связанная с поисковым роботом, не будет иметь разрешения на новый путь S3.

У меня была та же проблема, как и советовали другие. Я пытался пересмотреть существующую роль IAM, чтобы включить новую корзину S3 в качестве ресурса, но по какой-то причине это не сработало. Затем я создал совершенно новую роль с нуля ... на этот раз она сработала. Кроме того, у меня есть один большой вопрос для AWS: «Почему эта ошибка отказа в доступе из-за неверно подключенной политики IAM не отображается в журнале наблюдения за облаком?» Это затрудняет отладку.

Если у вас есть существующие таблицы в целевой базе данных, искатель может связать ваши новые файлы с существующей таблицей, а не создавать новую.

Это происходит, когда есть сходства в данных или структуре папок, которые Glue может интерпретировать как разбиение на разделы.

Также иногда мне приходилось обновлять список таблиц базы данных, чтобы появились новые.

Вы можете попробовать исключить некоторые файлы из корзины s3, и эти исключенные файлы должны появиться в журнале. Я считаю его полезным при отладке того, что происходит со сканером.

Вот моя примерная роль JSON, которая позволяет Glue получить доступ к s3 и создать таблицу.

{
"Version": "2012-10-17",
"Statement": [
    {
        "Sid": "VisualEditor0",
        "Effect": "Allow",
        "Action": [
            "ec2:DeleteTags",
            "ec2:CreateTags"
        ],
        "Resource": [
            "arn:aws:ec2:*:*:instance/*",
            "arn:aws:ec2:*:*:security-group/*",
            "arn:aws:ec2:*:*:network-interface/*"
        ],
        "Condition": {
            "ForAllValues:StringEquals": {
                "aws:TagKeys": "aws-glue-service-resource"
            }
        }
    },
    {
        "Sid": "VisualEditor1",
        "Effect": "Allow",
        "Action": [
            "iam:GetRole",
            "cloudwatch:PutMetricData",
            "ec2:DeleteNetworkInterface",
            "s3:ListBucket",
            "s3:GetBucketAcl",
            "logs:PutLogEvents",
            "ec2:DescribeVpcAttribute",
            "glue:*",
            "ec2:DescribeSecurityGroups",
            "ec2:CreateNetworkInterface",
            "s3:GetObject",
            "s3:PutObject",
            "logs:CreateLogStream",
            "s3:ListAllMyBuckets",
            "ec2:DescribeNetworkInterfaces",
            "logs:AssociateKmsKey",
            "ec2:DescribeVpcEndpoints",
            "iam:ListRolePolicies",
            "s3:DeleteObject",
            "ec2:DescribeSubnets",
            "iam:GetRolePolicy",
            "s3:GetBucketLocation",
            "ec2:DescribeRouteTables"
        ],
        "Resource": "*"
    },
    {
        "Sid": "VisualEditor2",
        "Effect": "Allow",
        "Action": "s3:CreateBucket",
        "Resource": "arn:aws:s3:::aws-glue-*"
    },
    {
        "Sid": "VisualEditor3",
        "Effect": "Allow",
        "Action": "logs:CreateLogGroup",
        "Resource": "*"
    }
]

}

У меня была такая же проблема, решение было указать схему моей таблицы.

У меня была аналогичная проблема с IAM, о которой упоминал Рэй. Но в моем случае я не добавил звездочку (*) после имени сегмента, что означает, что поисковый робот не заходил во вложенные папки, и таблица не была создана.

Неправильный:

{
   "Statement": [
    {
        "Action": [
            "s3:GetObject",
            "s3:PutObject"
        ],
        "Effect": "Allow",
        "Resource": [
            "arn:aws:s3:::bucket-name"
        ]
    }
   ],
   "Version": "2012-10-17"
}

Верный:

{
   "Statement": [
    {
        "Action": [
            "s3:GetObject",
            "s3:PutObject"
        ],
        "Effect": "Allow",
        "Resource": [
            "arn:aws:s3:::bucket-name*"
        ]
    }
   ],
   "Version": "2012-10-17"
}