Вопросы по теме 'amazon-athena'
Amazon Athena: нет реальной альтернативы на входе
При создании стола в Афине; это дает мне следующее исключение:
нет жизнеспособной альтернативы на входе
64888 просмотров
schedule
22.03.2022
Как подключить Superset к AWS athena?
Кто-нибудь пробовал подключить superset к AWS athena?
Мне удалось подключиться к красному смещению с помощью SQLAlchemy URI: postgresql: // username: [email protected]: port / dbname
но мне трудно подключиться к AWS athena....
6242 просмотров
schedule
03.02.2022
Можно ли реверсировать данные геокодирования с помощью Amazon Kinesis Analytics?
При использовании Amazon Kinesis для обработки большого объема входящих точек данных широты и долготы, как лучше всего реверсивно геокодировать их в масштабе?
Используя Kinesis Analytics, я могу использовать справочные данные, хранящиеся в S3, как...
171 просмотров
schedule
29.12.2023
AWS Athena: использовать имя папки в качестве раздела
У меня есть тысячи отдельных файлов json (соответствующих одной строке таблицы), хранящихся в s3 по следующему пути: s3://my-bucket/<date>/dataXX.json
Когда я создаю свою таблицу в DDL, возможно ли, чтобы данные были разделены...
6436 просмотров
schedule
08.05.2024
Как отфильтровать многострочные данные JSON от попадания в таблицу AWS Hive
У меня есть правило AWS IoT, которое отправляет входящий JSON в Kinesis Firehose.
Все данные JSON из моей публикации IoT находятся в одной строке, например:
{"count":4950, "dateTime8601": "2017-03-09T17:15:28.314Z"}
Раздел «Тест» IoT в...
2498 просмотров
schedule
27.10.2022
Почему AWS Athena создает мою таблицу в виде строки, а не массива вложенных объектов
Вместо вложенной таблицы все, что я получаю, это один очень длинный заголовок, содержащий команду sql, но без ошибок. Почему он работает, но на самом деле неправильно вводит данные json?
CREATE external TABLE ranked (
airlineRankings...
1007 просмотров
schedule
07.06.2024
Kinesis Firehose to s3: данные доставлены в неправильный час на пути s3
Я использую Kinesis Firehose для буферизации данных IoT и записываю их в s3. Firehose записывает буферы в s3 в формате s3://bucket.me.com/YYYY/MM/DD/HH
Данные, поступающие в 10:59, могут быть буферизованы Firehose и не записываться до 11:00 (...
932 просмотров
schedule
26.09.2023
Плохое имя поля Athena AWS и несколько папок с Hive DDL
Я новичок в AWS Athena и пытаюсь запросить несколько сегментов S3, содержащих файлы JSON. Я столкнулся с рядом проблем, на которые нет ответа в документации (к сожалению, их журнал ошибок недостаточно информативен, чтобы попытаться решить его...
1415 просмотров
schedule
31.03.2024
AWS Athena и date_format
У меня возникла проблема при форматировании метки времени с помощью сервиса Amazon Athena.
select date_format(current_timestamp, 'y')
Возвращает только y (строку).
Единственный способ форматирования дат в Amazon Athena, который я нашел, -...
39365 просмотров
schedule
20.05.2023
Возврат JSON из Athena Query через API
Я могу использовать API Athena с startQueryExecution() для создания CSV-файла ответов в S3. Однако я хотел бы иметь возможность вернуть в свое приложение ответ JSON, чтобы я мог продолжить обработку данных. Я пытаюсь вернуть результаты JSON после...
2771 просмотров
schedule
03.09.2022
Как добавить поле из одной строки в совокупность строк presto sql
У меня есть предварительный запрос, чтобы вернуть общее количество фруктов, съеденных конкретным человеком. Я также хотел бы включить самый последний раз, когда фрукт был съеден.
Вот мой запрос:
SELECT
id,
fruittype,
count(*) as...
168 просмотров
schedule
09.04.2023
Маленькие полоски Spark ORC
Мы используем Spark для выравнивания данных потока посещений, а затем записываем то же самое в S3 в формате ORC+zlib. Я пытался изменить многие настройки в Spark, но все же результирующие размеры полос создаваемого файла ORC очень малы (‹2 МБ)....
894 просмотров
schedule
30.08.2022
В чем разница между s3 select и athena
Я пытаюсь понять, в чем разница между сервисом aws athena и недавно выпущенным s3 select (все еще в предварительной версии). И чем разные варианты использования для них обоих? Кажется, оба помогают в выборе частичных данных из s3.
24922 просмотров
schedule
24.02.2024
Исключение при попытке подключения к AWS Athena с использованием JAVA API
Я пытаюсь выполнить запрос в AWS Athena, используя Java API:
public class AthenaClientFactory
{
String accessKey = "access";
String secretKey = "secret";
BasicAWSCredentials awsCredentials = new
BasicAWSCredentials(accessKey,...
664 просмотров
schedule
17.01.2024
Множественное полное внешнее соединение (из данных в одной таблице)
У меня есть некоторые данные журнала, которые выглядят следующим образом
Журналы
+---------------------+---------+---------+------+
| date | api_key | version | data |
+---------------------+---------+---------+------+
|...
374 просмотров
schedule
10.09.2022
Запрос SQL AWS athena на information_schema не работает
Я пытаюсь получить метаданные из AWS athena, выполнив SQL-запрос как:
SELECT table_catalog, table_schema, table_name FROM information_schema.tables
WHERE table_schema = 'information_schema'
когда я получаю сообщение об ошибке:...
2118 просмотров
schedule
04.06.2023
Разделитель метаданных AWS Athena csv изменен после первого использования запроса
Я хочу запросить файлы s3 csv для athena. Описание исходного CSV-файла: (разделитель '|')
system information
val1|val2|val3|val4|val5|
На основе этого я создаю таблицу в Афине:
Create external table dbname.fromcsv
(
col1 string,
col2...
1504 просмотров
schedule
20.05.2023
Атрибуция транзакции SQL
Мне нужно извлечь общее количество пользователей, совершивших транзакции, на основе различных периодов ретроспективного анализа.
Для начала у меня есть такая таблица:
user_id date action
1 2018/01/01 click
3...
59 просмотров
schedule
28.06.2022
Amazon Athena: преобразование метки времени bigint в удобочитаемую метку времени
Я использую Афину для запроса даты, хранящейся в формате bigInt. Я хочу преобразовать его в удобную метку времени.
Я пытался:
from_unixtime(timestamp DIV 1000) AS readableDate
А также
to_timestamp((timestamp::bigInt)/1000,...
9484 просмотров
schedule
03.09.2022
AWS Glue: сканер неверно интерпретирует временные метки как строки. GLUE ETL, предназначенный для преобразования строк в метки времени, делает их NULL
Я поигрался с AWS Glue для быстрой аналитики, следуя руководству здесь
Хотя мне удавалось успешно создавать сканеры и обнаруживать данные в Athena, у меня были проблемы с типами данных, созданными поисковым роботом. Типы данных date и...
10328 просмотров
schedule
02.05.2023
