Все вопросы: [decimal]

141 вопросов

17
голосов
7ответов
72593 просмотров

C #: Проверить значение, хранящееся внутри строкового объекта, является десятичным или нет

в C #, как я могу проверить, является ли значение, хранящееся внутри строкового объекта (например: string strOrderId = "435242A"), десятичным или нет?

2
голосов
2ответов
5145 просмотров

преобразовать десятичное число в шестнадцатеричный Python

Я создаю сервер на Python, мне нужно преобразовать десятичное значение в шестнадцатеричное следующим образом: допустим, что пакет начинается с 4 байтов, которые определяют длину пакета: 00 00 00 00 если len (packet) = 255, мы отправим: 00 00 00 и далее Моя проблема в том, что иногда размер...

1
голосов
2ответов
365 просмотров

Преобразование представления из десятичного в числа с плавающей запятой - подводные камни

Я работаю над некоторыми функциями финансового приложения.Все числа представлены в виде десятичных знаков без ошибок округления как в коде, так и в базе данных.Однако у меня проблемы с производительностью, и я рассматриваю возможность перехода на числа с плавающей запятой (float / double) в свои...

4
голосов
5ответов
2438 просмотров

Как сравнить два десятичных знака с десятью десятичными знаками?

Я использую десятичный тип (.net) и хочу проверить, равны ли два числа.Но я хочу быть точным до 10 знаков после запятой.Например, возьмите эти три числа.Я хочу, чтобы все были равны. 0.1123456789 0.11234567891 0.11234567899 10 десятичных знаков взяты из моей базы данных, поэтому я должен ...

8
голосов
7ответов
2168 просмотров

Почему System.Math и, например, MathNet.Numerics основаны на double?

Все методы в System.Math принимают double какпараметры и возвращает параметры.Константы также имеют тип double. Я проверил MathNet.Numerics , и, похоже, там то же самое.. Почему это?Специально для констант.Разве decimal не должно быть более точным?Разве это не всегда полезно при проведении...

2
голосов
7ответов
3566 просмотров

Как обойти проблему с десятичной дробью в JavaScript?

Возможные дубликаты: Странная проблема при сравнении чисел с плавающей точкой в объекте C Не работает ли математика JavaScript? 1,265 * 10000 = 126499.99999999999 ????? После просмотра этого я обнаружил, чтов JavaScript: 0.1 + 0.2 === 0.3 принимает значение false...

5
голосов
7ответов
955 просмотров

Как справиться с тем фактом, что большинство десятичных дробей не могут быть точно представлены в двоичном формате?

Итак, мы знаем, что дроби, такие как 0,1, не могут быть точно представлены в двоичной базе, что вызывает определенные проблемы (например, упомянутые здесь: Форматирование двойников для вывода на C # ). И мы знаем, что у нас есть десятичный тип для десятичного представления чисел ... но пробл...

0
голосов
5ответов
6183 просмотров

ASP.NET/C# Decimal до 0,00

У меня есть этот метод, как мне сделать десятичную дробь равной 0,00, а не 0,0000? public static List<Product> GetAllProducts() { List<Product> products = new List<Product>(); string sqlQuery = "SELECT * FROM Products"; using (SqlConnection connection = new S...

25
голосов
7ответов
74197 просмотров

php расчет числа с плавающей запятой 2 десятичная точка

Возникла проблема с математическим расчетом. $a = 34.56 $b = 34.55 $a выполните некоторые вычисления, чтобы получить эту цифру $b округляет до ближайшего 0,05, чтобы получить это число происходит то, что $c = $b - $a предположительно -0,01, но я повторяю $c, который показыва...

39
голосов
6ответов
58514 просмотров

Convert hex to float

How to convert the following hex string to float (single precision 32-bit) in Python? "41973333" -> 1.88999996185302734375E1 "41995C29" -> 1.91700000762939453125E1 "470FC614" -> 3.6806078125E4

2
голосов
5ответов
3589 просмотров

Converting a decimal number into binary

I am currently reading Charles Petzold's book 'Code'. In it he explains how to convert a decimal number into binary using the following template: [ ] [ ] [ ] [ ] [ ] [ ] [ ] [ ] ÷128 ÷64 ÷32 ÷16 ÷8 ÷4 ÷2 ÷1 [ ] [ ] ...

43
голосов
5ответов
40950 просмотров

Conversion of a decimal to double number in C# results in a difference

Summary of the problem: For some decimal values, when we convert the type from decimal to double, a small fraction is added to the result. What makes it worse, is that there can be two "equal" decimal values that result in different double values when converted. Code sample: decimal dcm = 822...

0
голосов
2ответов
1159 просмотров

Android GPS Result Format

I have noticed with testing GPS locations, a value such as −123 might come up on Android as −23.83333336. Is there any way to format incoming GPS locations, such as within two decimal points? This way I can store values like −123.83 opposed to longer numeric values. I have checked out DecimalFo...

4
голосов
3ответов
10944 просмотров

How can I convert a binary to a decimal without using a loop?

I have a 12-bit binary that I need to convert to a decimal. For example: A = [0,1,1,0,0,0,0,0,1,1,0,0]; Bit 1 is the most significant bit, Bit 12 is the least significant bit.

5
голосов
3ответов
10099 просмотров

Add a decimal point 2 chars from the right under PHP

I have a big array containing lots of elements containing numerical data. Example: 3200 34300 1499 12899 I want to convert these into: 32.00 343.00 14.99 128.99 How can I achieve this elegantly under PHP using no regex? Thanks in advance.

17
голосов
3ответов
25650 просмотров

How do I change my float into a two decimal number with a comma as a decimal point separator in python?

I have a float: 1.2333333 How do I change it into a two decimal number with a comma as a decimal point separator, eg 1,23?

3
голосов
2ответов
370 просмотров

Why does specifying a numeric value for a control's property in the designer result in new decimal(new int[] {... in the code?

In my C#.Net WinForm app in VS2005, I have a NumericUpDown control. In the designer, I set the Minimum property of the NumericUpDown to -65535. In the form's .designer.cs code, I expected to see this: this.myNumericUpDown.Minimum = -65535; but instead I get: this.myNumericUpDown.Minimum ...

8
голосов
2ответов
5496 просмотров

Common lisp integer to hex conversion

Is there a similar function to (parse-integer "ff" :radix 16) that will take me back the other way? If I have the int 255 how do I convert it to the string ff?

1
голосов
4ответов
26009 просмотров

Converting Decimal to ASCII Character

I am trying to convert an decimal number to it's character equivalent. For example: int j = 65 // The character equivalent would be 'A'. Sorry, forgot to specify the language. I thought I did. I am using the Cocoa/Object-C. It is really frustrating. I have tried the following but it is sti...

7
голосов
6ответов
8102 просмотров

How to round a decimal to the nearest fraction?

Not sure if that is the right way to ask this or not but here is the problem. Given a latitude of 26.746346081599476, how do I find the number 26.75 as the 16th greater than the number and 26.6875 as the 16th lower than the number? 26.0 26.0625 26.125 26.1875 26.25 26.3125 26.375 26.4375 26.5 2...

10
голосов
4ответов
8213 просмотров

What the best ways to use decimals and datetimes with protocol buffers?

I would like to find out what is the optimum way of storing some common data type that were not included in the list supported by protocol buffers. datetime (seconds precision) datetime (milliseconds precision) decimals with fixed precision decimals with variable precision lots of bool values (...

1
голосов
4ответов
882 просмотров

Is this SQL code susceptible to rounding errors?

I have discovered some strange behavior where a stored procedure is returning inaccurate results by a penny or two. Here's the code (I didn't write it): ALTER PROCEDURE [dbo].[TN_GetSimpleBalance] @custID int, @nBalance decimal (8,2) output AS declare @ArBalance as decimal (8,2) decl...

1
голосов
4ответов
3853 просмотров

Math calculation with decimal isn't correct

I have a C# method and which accepts three string parameters. After converting them to decimal, I am trying to perform a simple math calculation. I don't understand, why isn't the result correct? decimal d = MyFunction(x, y, z); public decimal MyFunction(string x, string y, string z) { dec...

1
голосов
4ответов
457 просмотров

C program showing a square instead of string

I have done a lot with Java but I am currently trying to learn c. I am trying to make a program to convert a number from decimal to binary. Here is what I have: #include <stdio.h> #define LENGTH 33 int main( int argc, char*argv[ ] ) { unsigned int number, base, remainder, x, i; char r...

3
голосов
7ответов
9659 просмотров

Setting specific bits in a number

var d = 7; in binary: 7 = (111) What I want to do is to set second place from right to 1 or 0 at disposal, and return the decimal value. For example,if I want to make the second 1 to 0,then after process should return a 5, because 5=(101). How to implement this in javascript? EDIT the an...

19
голосов
6ответов
21322 просмотров

How to round decimal value up to nearest 0.05 value?

Is there any way to round up decimal value to its nearest 0.05 value in .Net? Ex: 7.125 -> 7.15 6.66 -> 6.7 If its now available can anyone provide me the algo?

16
голосов
12ответов
4336 просмотров

Why aren't Floating-Point Decimal numbers hardware accelerated like Floating-Point Binary numbers?

Is it worth it to implement it in hardware? If yes why? If not why not? Sorry I thought it is clear that I am talking about Decimal Rational Numbers! Ok something like decNumber++ for C++, decimal for .NET... Hope it is clear now :)

2
голосов
5ответов
3072 просмотров

How to change decimal to binary and restore its bit values to an array?

For example: $result = func(14); The $result should be: array(1,1,1,0) How to implement this func?

1
голосов
2ответов
13954 просмотров

Remove Decimal Places with Access SQL Query

I'm working with MS Access to do some math. I'm taking a Cost and Dividing it by a decimal value to get a Price. I'm using a link table and a access sql query. SQL Ex Select (cost/markup) As Price From T_Cost; Calulcation Ex. 1234 / .55 = 2243.6363 1000 / .50 = 2000 I'm trying to figure out...

5
голосов
3ответов
1229 просмотров

Formatting Decimals to strings for performance

I'm writing an app that needs to output Decimals of varying lengths, and varying scale to strings without the decimal point for writing to a flat file as input to another system. e.g. 12345 -> Length:10, Scale:2 -> 0001234500 123.45 -> Length:10, Scale:2 -&g...