Вопросы по теме 'floating-point-precision'
Как java хранит float v double
Я понимаю, что десятичное число может храниться с такой точностью только как число с плавающей запятой в двоичной системе, но я не понимаю, что происходит с 7-м десятичным знаком в моем выводе 10/7.
В моем первом тесте вывода я заметил, что 5 (7-е...
7412 просмотров
schedule
10.07.2022
Установите конкретную точность BigDecimal
У меня есть XSD , который требует, чтобы я использовал BigDecimal для широты/долготы. В настоящее время у меня есть широта/долгота как двойники, и я конвертирую их в BigDecimal, но мне требуется использовать только около 12 знаков точности. Я не...
109103 просмотров
schedule
30.11.2023
gcc с двойной точностью печати - неправильный вывод
#include <stdio.h>
#include <wchar.h>
int main()
{
double f = 1717.1800000000001;
wprintf(L"double %.20G\n", f);
return 0;
}
результаты (и ожидаемые ниже):
double 1717.1800000000000637
double...
1093 просмотров
schedule
11.07.2023
Любой эквивалент расширенного для С#?
Я работаю над новой версией моей заставки Mandelbrot , и у меня заканчиваются плавающие точечная точность — простые двойные значения не имеют достаточно значимых цифр для моих нужд.
Более значимые цифры = более высокие уровни масштабирования...
765 просмотров
schedule
24.06.2023
Точность с плавающей запятой в XNA
Я использую Visual Studio 2010 Ultimate, работаю над .Net framework 4.
Тип groundControlPoint и worldPosition — Vector2 из среды XNA.
Я знаю, что каждый отладчик использует свое собственное управление точностью, но из-за этой проблемы...
720 просмотров
schedule
31.07.2022
Снова точность с плавающей запятой
Вчера я задал вопрос о том, почему я теряю точность арифметики с плавающей запятой. Я получил ответ о том, что это произошло из-за того, что промежуточные результаты хранятся в регистрах x87. Это было полезно, но некоторые детали все еще...
390 просмотров
schedule
18.06.2022
разделение 64-битного значения, чтобы соответствовать типу аргумента double
У меня есть функция, для которой я не могу изменить синтаксис, скажем, это какая-то библиотечная функция, которую я вызываю:
void schedule(double _val);
void caller() {
uint64_t value = 0xFFFFFFFFFFFFFFF;
schedule(value);
}
поскольку...
160 просмотров
schedule
29.01.2024
Как избежать ошибок с плавающей запятой?
Я пытался написать функцию для аппроксимации квадратного корня (я знаю, что есть математический модуль ... Я хочу сделать это сам), и меня обманула арифметика с плавающей запятой. Как этого избежать?
def sqrt(num):
root = 0.0
while root *...
34136 просмотров
schedule
11.11.2022
Компилятор Less использует разную точность с плавающей запятой в Linux и OSX.
Всякий раз, когда я компилирую меньше файлов в css на своем компьютере (Ubuntu 13.10, AMD64), я получаю совершенно другой результат с плавающей запятой, чем когда мой коллега компилирует на своей машине (Mac OSX 10.6). Что все хорошо и хорошо....
510 просмотров
schedule
31.03.2024
Оператор сравнения Python не работает, если float (1) › float (1) оценивается как True, что мне не хватает?
Это не совсем с 1 > 1, но близко:
Я хочу сравнить две метки времени и сделать что-то, что if time > timestamp оценивается как True . Обе переменные имеют одинаковые float , как видно из pdb.
(Pdb) print time
1396836917.98
(Pdb) print...
950 просмотров
schedule
20.09.2023
Уменьшить число с плавающей запятой с 1 до 0 с шагом 0,01
Как указано в заголовке, я хотел бы начать с 1 и уменьшить на 0,01 до нуля.
Проблема в том, что я использую числа с плавающей запятой и продолжаю получать такие значения, как 0.5000000001 .
1068 просмотров
schedule
09.05.2022
точность с плавающей запятой дает неправильный вывод. помогите пожалуйста обойти такие ошибки
Итак, у меня проблема с переменными с плавающей запятой. может кто-нибудь объяснить? код указан ниже...
#include<stdio.h>
void main() {
float b=3.6;
if(b==3.6)
{
printf("one");
}
if(b<=3.6)
{...
46 просмотров
schedule
31.12.2023
Можно ли преобразовать число с плавающей запятой по основанию 10 в эквивалентное по основанию 2 число?
Если задано число с плавающей запятой по основанию 10, например 0,583*10^3, можно ли преобразовать это число в эквивалентную форму по основанию 2 x*2^y путем отдельного преобразования дроби (0,583) и показателя степени (3) в базу 2? Если да, то как...
306 просмотров
schedule
21.02.2024
Поиск следующего представимого номера IEEE 754 (по направлению к -INF) с помощью C?
Я пытаюсь написать функцию, которая принимает 32-битное число с плавающей запятой (которое было преобразовано из 32-битной двоичной строки) и возвращает предыдущее представляемое число с плавающей запятой в 32-битном двоичном формате. Пока у меня...
1057 просмотров
schedule
24.06.2023
Увеличить проблемы
Мое приложение представляет собой карту мира с некоторыми формами. Пользователь может перетаскивать карту и масштабировать ее для навигации.
Координация мировых границ minX = -180 minY = -90 maxX = 180 maxY = 90. Вершины моих фигур также...
134 просмотров
schedule
03.02.2023
Верхняя граница количества цифр большого целого числа в другом основании
Я хочу создать большое целое число из строкового представления, и для этого мне нужна верхняя граница количества цифр в целевой базе, чтобы избежать перераспределения памяти.
Пример:
Число 640 bit имеет 640 цифр в base 2 , но только десять...
233 просмотров
schedule
23.01.2023
Преобразовать float в int
У меня есть цена за машину, скажем, 10000. Я хочу применить к этой цене 20% распродажу.
У меня есть struct , в котором auta->cena есть float .
int year, i, n=0, pocet=1, sale;
scanf(" %d", &year);
scanf(" %d", &sale);
for(i=1;...
149 просмотров
schedule
15.12.2022
Как сравнить два вектора в vPython
Я пытаюсь смоделировать кубик Рубика. Чтобы определить, действительно ли пользователь решил куб, я хотел бы запомнить все векторы начального положения, а затем просто сравнить их.
Однако, когда вы запускаете мою программу и портите куб, а затем...
292 просмотров
schedule
24.02.2024
